[논문 리뷰] Spectral algorithms for tensor completion

Andrea Montanari, Nike Sun|arXiv (Cornell University)|2016. 12. 23.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 표본 복잡도가 고차수의 합의 제곱(SOS) 방법과 유사하지만 계산 비용이 훨씬 낮은 새로운 스펙트럼 알고리즘을 제안한다. 대칭 제3차 텐서의 경우, SOS 방법이 요구하는 $rd^{3/2}$ 표본 크기와 동일한 성능을 달성하면서도 더 약한 질량 조건($r \ll d^{3/4}$)을 요구하며, 고비율 조건 하에서 정교한 특이 공간 추정을 통해 난이도가 높은 새로운 언패킹 기반 접근법을 도입한다.

ABSTRACT

In the tensor completion problem, one seeks to estimate a low-rank tensor based on a random sample of revealed entries. In terms of the required sample size, earlier work revealed a large gap between estimation with unbounded computational resources (using, for instance, tensor nuclear norm minimization) and polynomial-time algorithms. Among the latter, the best statistical guarantees have been proved, for third-order tensors, using the sixth level of the sum-of-squares (SOS) semidefinite programming hierarchy (Barak and Moitra, 2014). However, the SOS approach does not scale well to large problem instances. By contrast, spectral methods --- based on unfolding or matricizing the tensor --- are attractive for their low complexity, but have been believed to require a much larger sample size. This paper presents two main contributions. First, we propose a new unfolding-based method, which outperforms naive ones for symmetric $k$-th order tensors of rank $r$. For this result we make a study of singular space estimation for partially revealed matrices of large aspect ratio, which may be of independent interest. For third-order tensors, our algorithm matches the SOS method in terms of sample size (requiring about $rd^{3/2}$ revealed entries), subject to a worse rank condition ($r\ll d^{3/4}$ rather than $r\ll d^{3/2}$). We complement this result with a different spectral algorithm for third-order tensors in the overcomplete ($r\ge d$) regime. Under a random model, this second approach succeeds in estimating tensors of rank $d\le r \ll d^{3/2}$ from about $rd^{3/2}$ revealed entries.

연구 동기 및 목표

• 텐서 복원에서 계산적으로 효율적인 스펙트럼 방법과 통계적으로 최적의 합의 제곱(SOS) 방법 사이의 격차를 메우기.
• 대칭 $k$-차 텐서에 대해 기존의 언패킹 방법보다 뛰어난 성능을 보이는 새로운 언패킹 기반 스펙트럼 알고리즘을 개발하기.
• 다항 시간 내에 작동하면서도 SOS 방법과 동일한 표본 복잡도($rd^{3/2}$ 항목)를 달성하기.
• 과잉완성 영역($r \geq d$)을 다루기 위해 랜덤 모델 하에서 성공하는 두 번째 스펙트럼 알고리즘을 제안하기.
• 큰 비율 조건에서 부분적으로 관측된 행렬의 특이 공간 추정에 대한 이론적 보장을 수립하기.

제안 방법

• 고비율 조건을 가진 부분적으로 관측된 행렬에 대해 정교한 특이 공간 추정을 활용하는 새로운 언패킹 기반 스펙트럼 알고리즘을 제안한다.
• 대각 및 교차 성분에서 그램 행렬의 스펙트럼 노름에 대한 새로운 분석을 도입하며, 분리 및 잘라낸 버진스 부등식을 사용한다.
• 스펙트럼 분해에서 발생하는 랜덤 행렬 합의 연산자 노름을 제어하기 위해 행렬 라데마처 및 가우시안 농도 경계를 적용한다.
• 일관성 가정(A1–A3)과 랜덤 벡터 모델을 사용하여 특이값 및 내적 행동에 대한 고확률 경계를 유도한다.
• 교차 성분의 그램 행렬이 대각 성분보다 더 작은 스펙트럼 노름을 가짐을 보여주는 수축 주장 기법을 활용한다.
• 최소 비영 특이값과 스펙트럼 갭의 비율에 의존하는 편미분 경계를 통해 특이 공간 추정 오차를 분석한다.

실험 결과

연구 질문

• RQ1 스펙트럼 방법이 텐서 복원에서 계산적으로 효율적이면서도 합의 제곱(SOS) 방법과 동일한 표본 복잡도를 달성할 수 있는가?
• RQ2 고차원 설정에서 언패킹 기반 스펙트럼 알고리즘의 성능은 언패킹 행렬의 비율 조건에 어떻게 의존하는가?
• RQ3 랭크 $r$이 차원 $d$를 초과할 경우, 스펙트럼 방법이 저랭크 텐서를 복원하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ4 새로운 언패킹 방식이 대칭 텐서에 대해 특이 공간 추정 정확도 측면에서 표준 매트리시제이션을 능가할 수 있는가?
• RQ5 스펙트럼 알고리즘이 $O(rd^{3/2})$ 항목으로부터 진짜 텐서를 복원할 수 있는 정확한 조건은 무엇인가?

주요 결과

• 제안된 스펙트럼 알고리즘은 대칭 제3차 텐서에 대해 $O(rd^{3/2})$ 표본 복잡도를 달성하며, 6단계 합의 제곱 계층에서의 최고 성능 결과와 동일한 성능을 보인다.
• 알고리즘이 $r \ll d^{3/4}$ 조건 하에서 성공함을 입증하였으며, 이는 SOS 방법이 요구하는 $r \ll d^{3/2}$ 조건보다 더 약한 조건으로, 스펙트럼 방법이 효과적으로 작용할 수 있는 랭크 영역을 개선한다.
• 과잉완성 영역($d \leq r \ll d^{3/2}$)에서는 랜덤 모델 하에서 고확률로 성공하는 두 번째 스펙트럼 알고리즘을 제안하였으며, $O(rd^{3/2})$ 관측 항목으로 성공한다.
• 그램 행렬의 대각 성분의 스펙트럼 노름은 $\Omega\left(\frac{(1 + r/d)^{3}}{\log^{3/5} d}\right)$ 이하로 하한이 존재함을 입증하여 신호 강도에 대한 하한을 확립한다.
• 교차 성분의 그램 행렬은 스펙트럼 노름이 $O\left(\frac{(\log d)^4 \tau^3}{d^{1/2}} \max\{r/d, \tau^2\}\right)$ 이하로 유계임을 보이며, 가정된 일관성 조건 하에서 대각 성분에 비해 무시할 수 있음을 보여준다.
• 분석을 통해 큰 비율 조건 하에서도 미약한 일관성 가정 하에서 $O(rd^{3/2})$ 항목으로부터도 언패킹 행렬의 특이 공간을 일관되게 추정할 수 있음을 입증한다.