[논문 리뷰] Statistically Optimal and Computationally Efficient Low Rank Tensor Completion from Noisy Entries

Dong Xia, Ming Yuan외 1명|arXiv (Cornell University)|2017. 11. 14.

Tensor decomposition and applications참고 문헌 23인용 수 13

한 줄 요약

이 논문은 일반적인 $\beta$-노름 하에서 최소자승 최적 수렴 속도를 달성하는 노이즈가 있는 요소들로부터의 저질서 텐서 복원을 위한 계산적으로 효율적인 다항 시간 알고리즘을 제안한다. 이 방법은 최적의 통계적 성능를 달성하기 위해 고차원 특이값 분해 원리를 활용한 이차 스펙트럼 초기화와 파wer 반복을 조합한다. 이는 행렬을 초월한 고차 텐서 추정의 기본 한계를 설정한다.

ABSTRACT

In this article, we develop methods for estimating a low rank tensor from noisy observations on a subset of its entries to achieve both statistical and computational efficiencies. There have been a lot of recent interests in this problem of noisy tensor completion. Much of the attention has been focused on the fundamental computational challenges often associated with problems involving higher order tensors, yet very little is known about their statistical performance. To fill in this void, in this article, we characterize the fundamental statistical limits of noisy tensor completion by establishing minimax optimal rates of convergence for estimating a $k$th order low rank tensor under the general $\ell_p$ ($1\le p\le 2$) norm which suggest significant room for improvement over the existing approaches. Furthermore, we propose a polynomial-time computable estimating procedure based upon power iteration and a second-order spectral initialization that achieves the optimal rates of convergence. Our method is fairly easy to implement and numerical experiments are presented to further demonstrate the practical merits of our estimator.

연구 동기 및 목표

• 이전에 통계적 효율성과 계산적 효율성이 동시에 고려되지 않은 바, 고차 텐서($k \geq 3$)에 대한 노이즈가 있는 텐서 복원의 이론적 이해 격차를 메우기 위해.
• 일반적인 $\ell_p$ ($1 \leq p \leq 2$) 노름 하에서 $k$-차 저질서 텐서 추정에 대한 최소자승 하한을 수립하기 위해.
• 유도된 최소자승 최적 수렴 속도를 달성하는 다항 시간 계산이 가능한 추정기 개발을 위해.
• 기존의 고차 텐서 방법들이 통계적 최적성과 계산적 효율성 양면에서 모두 부족함을 입증하기 위해.

제안 방법

• 이 방법은 고차 특이값 분해 원리를 활용하여 이차 스펙트럼 초기화를 통해 저질서 텐서의 좋은 初기 추정치를 구성한다.
• 파워 반복을 사용하여 초기 추정치를 정밀화하며, 계산적으로 효율적인 방식으로 저질서 근사치를 반복적으로 향상시킨다.
• 추정기는 다항 시간 계산이 가능하도록 설계되어, 고차원 설정에서도 확장 가능성을 보장한다.
• 이론적 분석을 통해 이 방법이 $\ell_p$ 노름 하에서 로그 인자들을 제외한 최소자승 최적 수렴 속도를 달성함을 입증한다.
• 최소자승 하한을 유도하기 위해 바르샤모프-길버트 한계를 활용한 새로운 텐서 매개변수 공간의 구성에 기반한다.
• 이 방법은 서브가우시안 노이즈를 다루며, 진짜 텐서가 모든 모드에서 저질서라는 가정 하에 작동한다.

실험 결과

연구 질문

• RQ1 고차 설정에서 노이즈가 있고 완전하지 않은 관측치들로부터 저질서 텐서를 추정하는 데 있어 기본적인 통계적 한계는 무엇인가?
• RQ2 계산적으로 효율적인 알고리즘이 노이즈가 있는 텐서 복원에서 최소자승 최적 수렴 속도를 달성할 수 있는가?
• RQ3 고차 텐서($k \geq 3$)의 최소자승 속도는 행렬($k=2$)의 것과 어떻게 비교되는가?
• RQ4 스펙트럼 초기화와 파워 반복은 텐서 복원에서 최적의 통계적 성능를 달성하는 데 어떤 역할을 하는가?
• RQ5 제안된 방법은 이론적으로나 실무적으로 기존의 노름 핵심 기반 또는 교대 최소 제곱 방법을 초월할 수 있는가?

주요 결과

• 논문은 $\ell_p$ ($1 \leq p \leq 2$) 노름 하에서 $k$-차 저질서 텐서 추정에 대한 최소자승 하한을 수립하였으며, $p=2$일 경우 최적 속도가 $O_p\left(\left(\|\mathbf{T}\|_{\ell_\infty} \vee \sigma_\xi\right)\sqrt{\frac{r d_{\max} \log d_{\max}}{n}}\right)$임을 보여주며, 로그 인자들을 제외한 최소자승 최적 수렴 속도를 달성한다.
• 제안된 추정기는 $\ell_2$ 노름 하에서 최소자승 최적 수렴 속도를 달성하며, 하한과 로그 인자들을 제외한 범위에서 일치한다.
• $\ell_1$ 노름의 경우, 추정기는 $O_p\left(\frac{\|\mathbf{T}\|_* (d_{\min} d_{\max}^2)^{1/4} \log^2 d_{\max}}{\sqrt{n}} + \frac{\|\Xi\|_{\ell_1}}{d_1\cdots d_k} + \frac{\|\Xi\|_{\ell_\infty}}{\sqrt{n}}\right)$의 속도를 달성하며, 유사한 조건 하에서 알려진 결과와 일치한다.
• 이 방법은 다항 시간 계산이 가능하여, 핵심 노름 기반 방법들이 계산이 NP-난이도임에 비해 고차원 텐서에 대해 확장 가능하다.
• 수치 실험은 추정 정확도와 계산 효율성 면에서 추정기의 실용적 우수성을 확인한다.
• 분석 결과, 텐서 복원의 통계적 난이도는 차수 $k$에 따라 증가하며, 최소자승 속도는 총 항목 수가 아니라 질서 $r$과 최대 치수 $d_{\max}$의 곱에 의존함을 드러낸다.