[논문 리뷰] Exact Low Tubal Rank Tensor Recovery from Gaussian Measurements

Canyi Lu, Jiashi Feng외 2명|arXiv (Cornell University)|2018. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 14

한 줄 요약

이 논문은 가우시안 측정값에서 낮은 튜벌 랭크 텐서의 정확한 복원 보장을 확립한다. 텐서 핵노름(TNN) 최소화를 통해 수행되며, TNN가 원자 노름임을 증명하고, 탄성 원뿔의 가우시안 폭을 계산하여 O(r(n₁ + n₂ − r)n₃)개의 가우시안 측정값으로도 정확한 복원이 가능하다는 것을 보여주며, 이는 자유도 r(n₁ + n₂ − r)n₃와 순서적으로 최적이다.

ABSTRACT

The recent proposed Tensor Nuclear Norm (TNN) [Lu et al., 2016; 2018a] is an interesting convex penalty induced by the tensor SVD [Kilmer and Martin, 2011]. It plays a similar role as the matrix nuclear norm which is the convex surrogate of the matrix rank. Considering that the TNN based Tensor Robust PCA [Lu et al., 2018a] is an elegant extension of Robust PCA with a similar tight recovery bound, it is natural to solve other low rank tensor recovery problems extended from the matrix cases. However, the extensions and proofs are generally tedious. The general atomic norm provides a unified view of low-complexity structures induced norms, e.g., the $\ell_1$-norm and nuclear norm. The sharp estimates of the required number of generic measurements for exact recovery based on the atomic norm are known in the literature. In this work, with a careful choice of the atomic set, we prove that TNN is a special atomic norm. Then by computing the Gaussian width of certain cone which is necessary for the sharp estimate, we achieve a simple bound for guaranteed low tubal rank tensor recovery from Gaussian measurements. Specifically, we show that by solving a TNN minimization problem, the underlying tensor of size $n_1 imes n_2 imes n_3$ with tubal rank $r$ can be exactly recovered when the given number of Gaussian measurements is $O(r(n_1+n_2-r)n_3)$. It is order optimal when comparing with the degrees of freedom $r(n_1+n_2-r)n_3$. Beyond the Gaussian mapping, we also give the recovery guarantee of tensor completion based on the uniform random mapping by TNN minimization. Numerical experiments verify our theoretical results.

연구 동기 및 목표

• TNN 최소화를 통한 낮은 튜벌 랭크 텐서 복원의 이론적 복원 보장을 확립하는 것.
• TNN가 원자 노름 프레임워크의 특수한 경우임을 보여주어, 낮은 복잡도의 구조를 통합적으로 분석할 수 있도록 하는 것.
• 튜벌 랭크 r인 텐서의 정확한 복원을 위한 가우시안 측정값의 수에 대한 날카운 경계를 유도하는 것.
• 균일한 랜덤 샘플링 하에서 텐서 완성 문제로 분석을 확장하여 샘플링 복잡도 경계를 제공하는 것.
• 이전 연구에서 잘못된 증명을 수정하고 개선하는 것, 특히 텐서 완성 복원 보장에 대한 기존 증명의 오류를 수정하는 것.

제안 방법

• 적절한 원자 집합을 식별하여 TNN가 원자 노름임을 증명함으로써 원자 노름 이론의 적용을 가능하게 하는 것.
• TNN 볼과 관련된 탄성 원뿔의 가우시안 폭을 계산하여 정밀한 복원 경계를 도출하는 것.
• 가우시안 측정값 하에서의 복원 문제에 대한 이중 증명을 구성하기 위해 골핑 스킴(Golfing Scheme)을 사용하는 것.
• 오차 제어를 위해 농도 불등식과 행렬 이탈 경계(예: 보조정리 11, 12, 14)를 적용하는 것.
• 이중 증명 조건을 확인하기 위해 투영 연산자의 스펙트럼 노름과 프로베니우스 노름을 분석하는 것.
• t-곱 구조와 비일관성 가정을 사용하여 ∥U∗V∗∥∞ 및 ∥U∗V∗∥∞,2의 경계를 도출하는 것.

실험 결과

연구 질문

• RQ1 TNN 최소화는 가우시안 측정값에서 낮은 튜벌 랭크 텐서를 정확히 복원할 수 있는가?
• RQ2 정확한 복원을 위해 필요한 최소 가우시안 측정값의 수는 얼마이며, 이는 순서적으로 최적인가?
• RQ3 균일한 랜덤 샘플링 하에서 TNN 최소화는 텐서 완성 문제에서도 정확한 복원을 보장하는가?
• RQ4 제안된 분석은 이전 연구와 비교해 어떻게 다를까? 특히 기존 증명의 오류를 어떻게 수정하는가?
• RQ5 원자 노름 프레임워크는 행렬 확장 외의 텐서 복원 문제에 적용될 수 있는가?

주요 결과

• TNN가 원자 노름의 특수한 경우임을 증명하여, 낮은 튜벌 랭크 텐서의 통합 이론적 분석이 가능해졌다.
• 크기 n₁ × n₂ × n₃, 튜벌 랭크 r인 텐서는 O(r(n₁ + n₂ − r)n₃)개의 가우시안 측정값으로 정확히 복원 가능하다.
• 필요한 측정값 수는 자유도 r(n₁ + n₂ − r)n₃와 상수 인자 이내에서 순서적으로 최적이다.
• 균일한 랜덤 샘플링 하에서의 텐서 완성 문제에 대해서는 샘플링 복잡도가 O(r min(n₁, n₂)n₃ log²(min(n₁, n₂)n₃))이며, 로그 인자 이외에서는 순서적으로 최적이다.
• 이전 연구의 오류를 수정하며, 예를 들어 Zhang과 Aeron(2017)의 연구에서 오류가 있었던 점을 엄밀히 이중 증명 조건을 검증함으로써 수정하였다.
• 측정값 수가 충분히 많을 경우, p와 t₀의 선택에 따라 골핑 스킴을 통한 이중 증명 구성이 높은 확률로 성공한다.