[논문 리뷰] Provable Tensor Factorization with Missing Data

Prateek Jain, Sewoong Oh|arXiv (Cornell University)|2014. 06. 11.

Tensor decomposition and applications참고 문헌 26인용 수 125

한 줄 요약

이 논문은 낮은 질량의 직교 CP 분해 하에 누락된 요소들로부터 정확한 텐서 복원을 위한 증명 가능하게 수렴하는 교대 최소화 알고리즘을 제안한다. 표준 비일관성 및 직교성 가정 하에, $O(n^{3/2}r^{5}\textrm{log}^4 n)$개의 무작위로 선택된 요소들이 $n \times n \times n$ 차수의 질량-$r$ 텐서를 높은 확률로 정확히 복원하는 데 충분함을 입증하며, 이는 무작위 그래프의 스펙트럼 결과를 일반화하고 좋은 초기화로부터의 전역 수렴성을 증명함으로써 달성된다.

ABSTRACT

We study the problem of low-rank tensor factorization in the presence of missing data. We ask the following question: how many sampled entries do we need, to efficiently and exactly reconstruct a tensor with a low-rank orthogonal decomposition? We propose a novel alternating minimization based method which iteratively refines estimates of the singular vectors. We show that under certain standard assumptions, our method can recover a three-mode $n imes n imes n$ dimensional rank-$r$ tensor exactly from $O(n^{3/2} r^5 \log^4 n)$ randomly sampled entries. In the process of proving this result, we solve two challenging sub-problems for tensors with missing data. First, in the process of analyzing the initialization step, we prove a generalization of a celebrated result by Szemerédie et al. on the spectrum of random graphs. Next, we prove global convergence of alternating minimization with a good initialization. Simulations suggest that the dependence of the sample size on dimensionality $n$ is indeed tight.

연구 동기 및 목표

• 관측된 요소의 일부만 제공될 때 정확한 텐서 복원 문제를 다루며, 기존 방법이 이론적 보장을 갖추지 못하는 고차원 텐서에 특히 초점을 맞춘다.
• 결손 데이터 하에서 직교 CP 분해를 갖는 저질량 텐서를 복원하기 위한 증명 가능한 샘플 복잡도 경계를 설정한다.
• 좋은 초기화로부터 진짜 분해로의 전역 수렴을 보장하는 알고리즘을 개발한다. 국소 최소값을 피한다.
• 무작위 그래프의 스펙트럼 결과를 일반화하여 초기화 단계의 분석을 가능하게 하기 위해 텐서로의 일반화를 수행한다.
• 광범위하게 사용되지만 이론적으로 이해되지 않는 교대 최소화의 이론적 근거를 제공한다.

제안 방법

• 직교 CP 분해 하에서 텐서의 특이 벡터(성분) 추정치를 반복적으로 개선하는 교대 최소화 알고리즘을 제안한다.
• 무작위로 샘플된 텐서의 스펙트럼 투영을 기반으로 한 새로운 초기화 절차를 사용하며, 이는 무작위 그래프 스펙트럼에 대한 Szemerédi 결과의 일반화된 버전을 활용한다.
• 관측된 요소들에 국한하여 최적화를 제한하기 위해 텐서 투영 연산자 $\mathcal{P}_{\Omega}(\cdot)$를 사용하며, 관측된 텐서와 추정된 텐서 간의 프로베니우스 노름 차이를 최소화한다.
• 편향 경계와 벡터 이탈 항($\mathbf{d}_\ell$, $\Delta^{\sigma}_\ell$)을 사용한 구조적 분석을 통해 수렴을 제어한다.
• 집중 부등식과 비일관성 가정을 적용하여 각 반복 단계에서의 오차를 유계화하고 수렴을 보장한다.
• 적절한 샘플링 조건 하에서 알고리즘이 참 성분 주변의 이웃에 머무르며 오차를 매 단계에서 감소시킴으로써 전역 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 직교 CP 분해를 갖는 저질량 대칭 텐서를 정확히 복원하기 위해 필요한 최소한의 무작위로 선택된 요소의 수는 얼마인가?
• RQ2 결손 데이터 하에서 텐서 복원을 위한 교대 최소화가 좋은 초기화로부터 전역 수렴을 보장할 수 있는가?
• RQ3 무작위 텐서의 스펙트럼 성질을 분석하여 텐서 분해의 신뢰성 있는 초기화를 보장할 수 있는가?
• RQ4 샘플 복잡도는 텐서 성분의 비일관성에 의존하는가? 그리고 차원 $n$과 질량 $r$에 따라 어떻게 척도가 변하는가?
• RQ5 행렬 복원에 대한 이론적 보장을 고차원 텐서로 확장할 수 있는가? 이는 결손 데이터 하에서 증명 가능한 복원을 가능하게 하는가?

주요 결과

• 제안된 교대 최소화 알고리즘은 $O(n^{3/2}r^5\log^4 n)$개의 무작위로 선택된 요소들로부터 $n \times n \times n$ 차수의 질량-$r$ 텐서를 직교 CP 분해 하에 높은 확률로 정확히 복원한다.
• 샘플 복잡도 경계는 총 요소 수($n^3$)에 대해 비선형적이며, 낮은 질량을 갖는 대규모 텐서에 대해 효율적이다.
• 초기화 단계는 일반화된 스펙트럼 결과 덕분에 증명 가능하게 정확하며, 이는 Szemerédi의 정리(무작위 그래프 스펙트럼에 대한)를 고차원 구조로 일반화한 것이다.
• 좋은 초기화 하에서 교대 최소화의 전역 수렴성이 증명되었으며, 오차는 단조롭게 감소하고 참 성분으로 수렴한다.
• 시뮬레이션 결과는 샘플 복잡도에서 $n$에 대한 의존성이 날카로운 것으로 확인되어 이론적 경계의 실용적 관련성을 뒷받침한다.
• 표준 비일관성 가정 하에서 정확한 복원을 달성하였으며, 이는 텐서 질량이 요소들 사이에 집중되는 것을 제어한다.