[논문 리뷰] Exact tensor completion using t-SVD

Zemin Zhang, Shuchin Aeron|arXiv (Cornell University)|2015. 02. 16.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 12

한 줄 요약

이 논문은 t-SVD를 통해 텐서 튜벌 랭크를 이용한 정확한 텐서 완성에 대한 볼록 최적화 프레임워크를 제안하며, 샘플링 비율이 텐서의 튜벌 랭크에 비례할 경우 높은 확률로 정확한 복원이 가능하다는 것을 보여준다. 이 방법은 볼록 대체물로 텐서 핵노름을 최소화하여, 텐서 비균일성 조건 하에서 순서 최적의 샘플링 복잡도를 달성한다.

ABSTRACT

In this paper we focus on the problem of completion of multidimensional arrays (also referred to as tensors) from limited sampling. Our approach is based on a recently proposed tensor-Singular Value Decomposition (t-SVD) [1]. Using this factorization one can derive notion of tensor rank, referred to as the tensor tubal rank, which has optimality properties similar to that of matrix rank derived from SVD. As shown in [2] some multidimensional data, such as panning video sequences exhibit low tensor tubal rank and we look at the problem of completing such data under random sampling of the data cube. We show that by solving a convex optimization problem, which minimizes the tensor nuclear norm obtained as the convex relaxation of tensor tubal rank, one can guarantee recovery with overwhelming probability as long as samples in proportion to the degrees of freedom in t-SVD are observed. In this sense our results are order-wise optimal. The conditions under which this result holds are very similar to the incoherency conditions for the matrix completion, albeit we define incoherency under the algebraic set-up of t-SVD. We show the performance of the algorithm on some real data sets and compare it with other existing approaches based on tensor flattening and Tucker decomposition.

연구 동기 및 목표

• 제한된 무작위로 샘플된 요소들로부터 다차원 배열(텐서)을 복원하는 데 도전하는 것.
• 새로운 텐서 분해 프레임워크를 사용하여 정확한 텐서 완성 가능성을 이론적으로 규명하는 조건을 설정하는 것.
• t-SVD를 통한 텐서 튜벌 랭크의 볼록 근사화에 기반한 계산적으로 실현 가능한 방법을 개발하는 것.
• CP 및 터커 분해에 기반한 기존 텐서 완성 접근법과 비교하여 복원 정확도 및 샘플링 효율성 측면에서 제안된 방법의 성능을 평가하는 것.

제안 방법

• 텐서 튜벌 랭크를 정의하기 위해 텐서-특이값 분해(t-SVD)를 사용하여 텐서 내의 저랭크 구조 모델링을 가능하게 한다.
• 최적화 기반 복원을 위해 텐서 튜벌 랭크의 볼록 근사로 텐서 핵노름을 도입한다.
• 관측된 요소들에 제약을 두고 텐서 핵노름을 최소화하는 볼록 최적화 문제를 적용하여, 비균일성 조건 하에서 정확한 복원을 보장한다.
• 복원 확률에 대한 이론적 경계를 유도하기 위해 비가환 베르누이 부등식(NBI)을 적용한다.
• t-SVD 대수적 구조에 맞게 조정된 행렬 비균일성과 유사한 텐서 비균일성 조건을 정의한다.
• 텐서 요소의 무작위 샘플링을 사용하며, 샘플 수가 $\mathcal{O}(rn_1n_3\log((n_1+n_2)n_3))$ 수준일 때 높은 확률로 복원이 가능하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 t-SVD 프레임워크를 사용할 경우 무작위 샘플링 하에서 정확한 텐서 완성이 보장될 수 있는가?
• RQ2 저튜벌랭크 텐서의 정확한 복원을 위해 필요한 최소 샘플링 비율은 얼마인가?
• RQ3 제안된 t-SVD 기반 방법은 CP 및 터커 기반 텐서 완성과 비교해 성능 및 샘플링 효율성 측면에서 어떻게 다른가?
• RQ4 t-SVD 프레임워크에서 높은 확률로 복원을 보장하기 위한 텐서 비균일성 조건은 무엇인가?
• RQ5 텐서 핵노름은 정확한 복원을 위해 텐서 튜벌 랭크의 타당한 볼록 근사인가?

주요 결과

• 샘플된 요소의 수가 $\mathcal{O}(rn_1n_3\log((n_1+n_2)n_3))$일 경우, $r$이 텐서 튜벌 랭크이면 정확한 텐서 완성이 높은 확률로 가능하다.
• 이 방법은 순서 최적의 샘플링 복잡도를 달성하여 이론적 하한선에 로그 인자 외에는 일치한다.
• 텐서 비균일성 조건 하에서 텐서 핵노름 최소화는 유일한 최소화자로서 정확한 복원을 이끈다.
• 수치 실험 결과, 50% 무작위 샘플링 하에 $144\times 256\times 80$ 농구 영상에서 제안된 방법은 상대 제곱오차(RSE)가 0.0915를 기록하여, 행렬 완성(예: RSE: 0.1409) 및 기타 텐서 방법을 능가한다.
• 시뮬레이션에서 샘플링 비율이 이론적 임계값을 초과할 경우 복원률이 100%에 도달(흰색 셀)하여 이론적 경계가 확인된다.
• t-SVD 프레임워크는 매트릭스 기반 벡터 공간 도구를 텐서에 적응시켜 신뢰할 수 있는 성능 보장을 가능하게 하며, CP 및 터커 분해에 비해 이론적으로 타당하고 계산적으로 실현 가능한 대안을 제공한다.