[논문 리뷰] Novel methods for multilinear data completion and de-noising based on tensor-SVD

Zemin Zhang, Gregory Ely외 3명|arXiv (Cornell University)|2014. 07. 07.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 52

한 줄 요약

이 논문은 3차원 및 4차원 영상 데이터를 위한 신규 텐서 완성 및 강건한 PCA 방법을 제안하며, 텐서-특이분해(t-SVD)를 활용하고 텐서 핵노름(TNN)을 통해 저질서 근사와 희박한 오염에 대한 강건성을 확보한다. 이 방법은 행렬 기반 방법보다 누락된 항목과 희박한 노이즈가 있는 영상 복구에서 뛰어난 성능을 보이며, ADMM 기반 최적화를 통해 완성 및 노이즈 제거 작업에서 모두 뛰어난 성능을 입증한다.

ABSTRACT

In this paper we propose novel methods for completion (from limited samples) and de-noising of multilinear (tensor) data and as an application consider 3-D and 4- D (color) video data completion and de-noising. We exploit the recently proposed tensor-Singular Value Decomposition (t-SVD)[11]. Based on t-SVD, the notion of multilinear rank and a related tensor nuclear norm was proposed in [11] to characterize informational and structural complexity of multilinear data. We first show that videos with linear camera motion can be represented more efficiently using t-SVD compared to the approaches based on vectorizing or flattening of the tensors. Since efficiency in representation implies efficiency in recovery, we outline a tensor nuclear norm penalized algorithm for video completion from missing entries. Application of the proposed algorithm for video recovery from missing entries is shown to yield a superior performance over existing methods. We also consider the problem of tensor robust Principal Component Analysis (PCA) for de-noising 3-D video data from sparse random corruptions. We show superior performance of our method compared to the matrix robust PCA adapted to this setting as proposed in [4].

연구 동기 및 목표

• 다양한 관측치가 손실되거나 오염된 다중선형(텐서) 데이터를 복구하는 데 도전하는 것, 특히 영상 응용 분야에서의 도전 과제를 해결하는 것.
• 기존의 행렬 기반 또는 벡터화된 접근 방식보다 더 효율적이고 정확한 영상 데이터의 저질서 표현을 가능하게 하기 위해 텐서-특이분해(t-SVD) 프레임워크를 활용하는 것.
• 임의의 샘플링된 항목에서 영상 완성을 위한 텐서 핵노름(TNN)-벌점 알고리즘을 개발하는 것.
• 희박하고 고강도의 오염물과 저다중질서 영상 콘텐츠를 분리하기 위한 텐서 강건한 PCA 설정을 제안하는 것.
• 기존의 행렬 기반 방법보다 영상 완성 및 노이즈 제거 작업에서 모두 뛰어난 성능을 보이는 것을 입증하는 것.

제안 방법

• 최근에 제안된 텐서-특이분해(t-SVD)에 기반한 방법으로, 텐서를 방향성 행렬 위의 선형 연산자로 간주하고 다중선형 질서와 TNN 기반의 저질서 근사화를 가능하게 한다.
• 텐서 핵노름(TNN)은 다중선형 질서의 볼록한 근사화로 간주되어 완성 및 노이즈 제거를 위한 효율적인 최적화를 가능하게 한다.
• 영상 완성을 위해, ADMM(다중 승수의 교대 방법)를 사용하여 TNN 정규화 최적화 문제를 해결하며, t-SVD의 구조를 활용하기 위해 푸리에 도메인에서 업데이트를 수행한다.
• 강건한 PCA를 위해, 저질서 + 희박한 분해를 볼록 최적화 문제로 모델링한다: 제약 조건 하에 ||L||_TNN + λ||S||_1,1,2 최소화, ADMM를 통해 해결한다.
• ADMM 업데이트는 t-SVD가 변환의 블록 대각화를 통해 TNN를 효율적으로 계산할 수 있는 푸리에 도메인에서 유도된다.
• 선형 카메라 운동을 갖는 3D 및 4D 영상 데이터에 이 방법을 적용하였으며, 벡터화 또는 평탄화보다 t-SVD가 더 압축 효율적인 표현을 제공한다.

실험 결과

연구 질문

• RQ1 t-SVD 기반의 텐서 표현은 기존의 행렬 기반 또는 벡터화된 접근 방식보다 3D 및 4D 영상 데이터의 저질서 근사에 더 효율적이고 정확한가?
• RQ2 ADMM를 통한 TNN 정규화 최적화는 기존의 행렬 또는 텐서 기반 방법보다 임의의 샘플링된 항목에서 더 나은 영상 완성 성능을 제공하는가?
• RQ3 텐서 강건한 PCA는 특히 시간 축을 따라 구조화된 오염물이 존재할 경우, 저다중질서 영상 콘텐츠와 희박한 고강도 픽셀 오염을 효과적으로 분리할 수 있는가?
• RQ4 정규화 파rameter λ의 선택이 텐서 강건한 PCA의 성능에 미치는 영향은 무엇이며, 최적의 스케일링 규칙이 존재하는가?
• RQ5 영상 복구 작업에서 t-SVD는 Tucker 또는 CANDECOMP/PARAFAC 분해보다 이론적 및 실용적 이점이 있는가?

주요 결과

• 선형 카메라 운동을 갖는 영상에 대해 t-SVD 기반 표현은 벡터화 또는 평탄화된 행렬 표현보다 더 뛰어난 압축 효율성을 달성한다.
• 제안된 TNN 정규화 완성 알고리즘이 기존의 행렬 기반 및 텐서 기반 방법보다 3D 및 4D 영상에서 무작위로 누락된 항목을 회복하는 데 뛰어난 성능을 보인다.
• 텐서 강건한 PCA는 희박한 픽셀 오염을 기저의 저다중질서 영상 콘텐츠에서 효과적으로 분리하며, 복구된 프레임에서 최소한의 잡음과 높은 정밀도를 유지한다.
• 벡터화된 프레임에 적용된 행렬 강건한 PCA는 배경 회복에서 뿌연 효과를 보이며, 구조적 정보가 희박한 성분으로 유출되는 반면, 텐서 강건한 PCA는 공간적 및 시간적 일관성을 유지한다.
• 텐서 강건한 PCA의 최적의 λ 선택은 경험적으로 1/√max(n₁,n₂)로 도출되었으며, 이는 이론적 직관과 일치하며 기존의 행렬 기반 λ 스케일링보다 뛰어난 성능을 보인다.
• ADMM 기반 최적화 프레임워크는 푸리에 도메인에서 t-SVD의 구조를 활용하여 TNN 및 강건한 PCA 문제의 효율적이고 확장 가능한 해를 도출할 수 있다.