[논문 리뷰] On Polynomial Time Methods for Exact Low Rank Tensor Completion

Dong Xia, Ming Yuan|arXiv (Cornell University)|2017. 02. 22.

Tensor decomposition and applications참고 문헌 23인용 수 15

한 줄 요약

이 논문은 스펙트럼 방법으로 초기화된 경사하강법을 사용하여 다항식 시간 내에 정확한 저질서 텐서 복원을 수행하는 알고리즘을 제안한다. 이는 세 번째 차수 텐서에 대해 핵노름 최소화와 동일한 샘플 복잡도를 달성한다. $d \times d \times d$ 크기의 다중선형 질서 $(r,r,r)$를 가진 텐서는 $O(r^{7/2}d^{3/2}\text{log}^{7/2}d + r^7d\text{log}^6d)$개의 입력을 통해 높은 확률로 복원 가능하며, 이는 최신 기술 수준의 샘플 크기 요구 조건을 충족하면서도 계산적으로 효율적이고 구조에 종속되지 않는다.

ABSTRACT

In this paper, we investigate the sample size requirement for exact recovery of a high order tensor of low rank from a subset of its entries. We show that a gradient descent algorithm with initial value obtained from a spectral method can, in particular, reconstruct a ${d imes d imes d}$ tensor of multilinear ranks $(r,r,r)$ with high probability from as few as $O(r^{7/2}d^{3/2}\log^{7/2}d+r^7d\log^6d)$ entries. In the case when the ranks $r=O(1)$, our sample size requirement matches those for nuclear norm minimization (Yuan and Zhang, 2016a), or alternating least squares assuming orthogonal decomposability (Jain and Oh, 2014). Unlike these earlier approaches, however, our method is efficient to compute, easy to implement, and does not impose extra structures on the tensor. Numerical results are presented to further demonstrate the merits of the proposed approach.

연구 동기 및 목표

• 정확한 저질서 텐서 복원을 위한 이론적 샘플 크기 요구 조건과 계산적으로 효율적인 알고리즘 사이의 격차를 메우기.
• 텐서에 대해 구조적 가정(예: 직교 분해 가능성)을 부과하지 않으면서도 날카운 샘플 크기 경계를 달성하는 방법 개발.
• 고차원, 저질서 텐서에 대해 계산적으로 실행 가능하고 확장 가능한 알고리즘 보장.
• 최소한의 샘플링 조건 하에서 스펙트럼 초기화를 사용한 경사하강법이 정확한 복원을 달성할 수 있음을 입증하기.
• 세 번째 차수 텐서 복원의 맥락에서 수렴성과 샘플 복잡도에 대한 이론적 보장을 제공하기.

제안 방법

• 두 단계 알고리즘 제안: 첫째, 스펙트럼 방법이 진짜 저질서 텐서에 가까운 초기 추정치를 제공한다.
• 둘째, 관측된 입력을 사용하여 그라스만다이드 맨니폴드 상에서 경사하강법을 적용하여 추정치를 정밀화한다.
• 지역적으로 볼록성과 진짜 해 주변의 정점 유일성을 보장하기 위해 페널티 함수를 사용한다.
• 저질서 텐서 요소를 최적화하기 위해 그라스만다이드의 곱 위에서 정확한 선형 탐색을 사용하는 투영 경사하강법 프레임워크를 적용한다.
• 리만 기울기 분석을 수행하고, 진짜 해와의 지오데식 거리에 따라 기울기 노름의 하한을 설정한다.
• 고확률 농도 부등식과 스펙트럼 노름 한계를 활용하여 최적화 경관의 행동을 제어한다.

실험 결과

연구 질문

• RQ1 다항식 시간 알고리즘이 핵노름 최소화와 동일한 샘플 복잡도로 정확한 텐서 복원을 달성할 수 있는가?
• RQ2 최소한의 샘플링 조건 하에서 스펙트럼 초기화를 사용한 경사하강법이 저질서 텐서 복원에서 전역 최적화에 수렴하는가?
• RQ3 구조적 가정(예: 직교 분해 가능성)을 피하면서도 날카운 샘플 크기 요구 조건을 유지할 수 있는가?
• RQ4 비볼록이고 효율적인 최적화 접근법을 사용할 경우 정확한 복원을 위해 필요한 이론적 샘플 복잡도는 무엇인가?
• RQ5 이러한 방법은 펼침 기반 또는 핵노름 기반 접근법보다 샘플 효율성이 높은가?

주요 결과

• 제안된 알고리즘은 다중선형 질서 $(r,r,r)$를 가진 $d \times d \times d$ 텐서를 $O(r^{7/2}d^{3/2}\text{log}^{7/2}d + r^7d\text{log}^6d)$개의 관측 입력을 사용하여 정확히 복원한다.
• 만약 $r = O(1)$이면 샘플 크기 요구 조건은 $O(d^{3/2}\text{log}^{7/2}d)$로 감소하며, 이는 핵노름 최소화에서 얻은 최고의 알려진 경계와 일치한다.
• 이 방법은 계산적으로 효율적이며, NP-난해한 볼록 완화를 피하고 구조 제약 없이 실용적인 구현이 가능하다.
• 이론적 분석 결과, 스펙트럼 초기화를 사용한 경사하강법은 고확률 조건 하에서 유일한 전역 최소화점을 향해 수렴한다.
• 리만 기울기 노름은 진짜 해와의 지오데식 거리의 배수로 하한이 보장되어 있어, 정확한 저질서 텐서로의 수렴을 보장한다.
• 이 알고리즘은 텐서가 저질서이지만 고차원일 경우에도 날카운 샘플 복잡도를 유지하므로 실세계 응용에 적합하다.