[논문 리뷰] Exact tensor completion with sum-of-squares

Aaron Potechin, David Steurer|arXiv (Cornell University)|2017. 02. 21.

Tensor decomposition and applications참고 문헌 1인용 수 22

한 줄 요약

이 논문은 이전의 $ r \cdot \tilde{O}(n^2) $ bound를 개선하기 위해 행렬 완성으로의 감소를 통해 정확한 텐서 완성에 대한 최초의 다항시간 알고리즘을 제시한다. 이는 구면 위의 4차 다항식에 대한 합의 제곱 증명을 사용하여, $ r $ 개의 비정규화되고 직교하는 성분을 가진 3차 텐서를 랜덤하게 관측된 $ r \cdot \tilde{O}(n^{1.5}) $ 개의 항목으로 정확히 복원한다.

ABSTRACT

We obtain the first polynomial-time algorithm for exact tensor completion that improves over the bound implied by reduction to matrix completion. The algorithm recovers an unknown 3-tensor with $r$ incoherent, orthogonal components in $\mathbb R^n$ from $r\cdot ilde O(n^{1.5})$ randomly observed entries of the tensor. This bound improves over the previous best one of $r\cdot ilde O(n^{2})$ by reduction to exact matrix completion. Our bound also matches the best known results for the easier problem of approximate tensor completion (Barak & Moitra, 2015). Our algorithm and analysis extends seminal results for exact matrix completion (Candes & Recht, 2009) to the tensor setting via the sum-of-squares method. The main technical challenge is to show that a small number of randomly chosen monomials are enough to construct a degree-3 polynomial with precisely planted orthogonal global optima over the sphere and that this fact can be certified within the sum-of-squares proof system.

연구 동기 및 목표

• 행렬 완성으로의 감소에 의해 유도되는 샘플 복잡도 기준을 초월하는 다항시간 알고리즘을 개발하는 것.
• 이전에 행렬 완성에서 성공한 합의 제곱 방법을 정확한 복원을 위해 텐서 설정으로 확장하는 것.
• 구면 위에서 정확히 심착된 직교 전역 최적해를 가진 3차 다항식을 저차수 합의 제곱 증명을 통해 구성하고 검증하는 것.
• 정확한 복원의 더 큰 어려움에도 불구하고, 근사 텐서 완성의 최고 수준 결과와 동일한 샘플 복잡도를 달성하는 것.
• $ r \cdot \tilde{O}(n^{1.5}) $ 개의 랜덤하게 샘플링된 항목이 비정규화되고 직교하는 성분을 가진 3차 텐서의 정확한 복원을 보장하는 데 충분한지 확인하는 것.

제안 방법

• 소수의 관측된 항목으로부터 3차 텐서의 정확한 복원을 검증하는 증명을 구성하기 위해 합의 제곱(SOS) 증명 체계를 활용한다.
• 구면 위의 전역 최적해가 텐서의 비정규화되고 직교하는 성분과 정확히 일치하는 4차 다항식을 구성한다.
• 텐서 성분을 $ u_i, v_i, w_i $의 곱으로 표현하는 새로운 분해를 도입하여, 공유 인덱스에 대한 합을 취함으로써 전역 일관성을 확보하고 $ r $ 요소를 유도한다.
• 교차 패턴과 랜덤 분할을 사용하여 텐서 항목에서 유도된 행렬 표현의 스펙트럼 노름을 제한하기 위해 추적 모멘트 방법을 적용한다.
• 초그래프 구조에 의해 분해된 행렬 블록 $ Y_j $ 에 대해 재귀적 추적 거듭제곱 계산을 적용하여 모멘트의 성장을 통제한다.
• 핵심 기법: 외부 삼각형 인덱스에 대해 합을 취함으로써 성분 간 전역 인덱스 일致를 강제하여 자유 변수의 수를 줄이고 더 엄격한 노름 제약 조건을 가능하게 한다.

실험 결과

연구 질문

• RQ1 행렬 완성으로의 감소에 의해 유도되는 $ r \cdot \tilde{O}(n^2) $ 기준 이하의 샘플 복잡도로 정확한 텐서 완성을 달성할 수 있는가?
• RQ2 합의 제곱 방법을 사용하여 비정규화되고 직교하는 성분을 가진 3차 텐서의 정확한 복원을 검증할 수 있는가?
• RQ3 다항시간 알고리즘을 사용할 때 3차 텐서의 정확한 복원을 보장하기 위해 필요한 최소한의 랜덤 샘플링 항목 수는 얼마인가?
• RQ4 정확한 복원을 보장하기 위해 효율적으로 구성하고 검증할 수 있는 4차 합의 제곱 증명을 텐서 설정에서 만들 수 있는가?
• RQ5 제안된 방법은 근사 텐서 완성의 최고 수준 기준과 동일한 샘플 복잡도를 달성하는가?

주요 결과

• 알고리즘은 $ r $ 개의 비정규화되고 직교하는 성분을 가진 3차 텐서를 $ r \cdot \tilde{O}(n^{1.5}) $ 개의 랜덤하게 관측된 항목으로 정확히 복원한다.
• 이 샘플 복잡도는 이전에 행렬 완성으로 감소시켜 확보한 $ r \cdot \tilde{O}(n^2) $ 기준을 개선한다.
• 이 기준은 근사 텐서 완성의 최고 수준 결과와 일치하여, 정확한 복원이 비교적 효율적인 샘플링으로 가능하다는 것을 보여준다.
• 합의 제곱 방법은 구면 위에서 정확히 심착된 전역 최적해를 가진 4차 다항식을 구성함으로써 정확한 복원을 성공적으로 검증한다.
• 분석 결과, 새로운 샘플링 체제 하에서 행렬 표현의 기대 추적 거듭제곱이 충분히 빠르게 감소함을 보여주어 엄격한 스펙트럼 노름 제약 조건을 확보할 수 있다.
• 이 방법은 주어진 가정 하에 다항시간 알고리즘 중에서 샘플 수가 로그 인자 외에 최적임을 입증한다.