[논문 리뷰] Provable Tensor-Train Format Tensor Completion by Riemannian Optimization

Jian-Feng Cai, Jingyang Li외 1명|arXiv (Cornell University)|2021. 08. 27.

Tensor decomposition and applications참고 문헌 75인용 수 15

한 줄 요약

이 논문은 텐서 트레이스(TT) 형식에서의 리만 그래디언트 디센트(RGrad)에 대한 이론적 수렴 보장을 처음으로 제시하며, 텐서 조건수에 독립적인 일정한 수축률을 갖는 선형 수렴을 증명한다. 순차적 제2모멘트 방법을 도입하여 온난 초기화를 수행하고, 서브가우시안 노이즈 하에서 통계적으로 거의 최적에 가까운 복원률을 확립하며, 수치 실험을 통해 계산적 이점을 입증한다.

ABSTRACT

The tensor train (TT) format enjoys appealing advantages in handling structural high-order tensors. The recent decade has witnessed the wide applications of TT-format tensors from diverse disciplines, among which tensor completion has drawn considerable attention. Numerous fast algorithms, including the Riemannian gradient descent (RGrad), have been proposed for the TT-format tensor completion. However, the theoretical guarantees of these algorithms are largely missing or sub-optimal, partly due to the complicated and recursive algebraic operations in TT-format decomposition. Moreover, existing results established for the tensors of other formats, for example, Tucker and CP, are inapplicable because the algorithms treating TT-format tensors are substantially different and more involved. In this paper, we provide, to our best knowledge, the first theoretical guarantees of the convergence of RGrad algorithm for TT-format tensor completion, under a nearly optimal sample size condition. The RGrad algorithm converges linearly with a constant contraction rate that is free of tensor condition number without the necessity of re-conditioning. We also propose a novel approach, referred to as the sequential second-order moment method, to attain a warm initialization under a similar sample size requirement. As a byproduct, our result even significantly refines the prior investigation of RGrad algorithm for matrix completion. Lastly, statistically (near) optimal rate is derived for RGrad algorithm if the observed entries consist of random sub-Gaussian noise. Numerical experiments confirm our theoretical discovery and showcase the computational speedup gained by the TT-format decomposition.

연구 동기 및 목표

• TT 형식 텐서 복원에서 리만 최적화의 수렴 분석에 대한 이론적 간극을 메우기 위해.
• 거의 최적의 샘플 크기 조건 하에서 RGrad 알고리즘의 증명 가능한 선형 수렴을 제공하기 위해.
• 유사한 샘플 크기 요구 조건을 갖는 순차적 제2모멘트 방법을 통한 새로운 온난 초기화 방법을 개발하기 위해.
• 랜덤 서브가우시안 노이즈 하에서 RGrad의 통계적으로 거의 최적의 복원률을 유도하기 위해.
• 수치 실험을 통해 계산 효율성과 강건성을 입증하기 위해.

제안 방법

• 낮은 랭크 텐서 복원을 최적화하기 위해 TT 다양체 위에서 리만 그래디언트 디센트(RGrad)를 제안한다.
• 동일한 샘플 크기 조건 하에서 높은 확률로 온난 초기화를 달성하기 위해 순차적 제2모멘트 방법을 도입한다.
• 행렬 베르누이 불등식과 농도 경계를 사용하여 경험적 추정치와 기대값 간의 편차를 제어한다.
• 스펙트럼 초기화와 행렬 농도 기법을 사용하여 TT 형식에서 추정 오차의 노름을 경계한다.
• 수축률 분석을 통해 수렴성을 분석하고, 텐서 조건수에 독립적임을 보여준다.
• 서브가우시안 노이즈 가정을 바탕으로 RGrad 반복의 오차에 대한 고확률 경계를 도출한다.

실험 결과

연구 질문

• RQ1 TT 형식 텐서 복원을 위한 RGrad는 일정한 수축률을 갖는 선형 수렴을 이론적으로 보장받을 수 있는가?
• RQ2 TT 텐서 복원의 수렴성과 초기화 품질을 보장하기 위해 필요한 샘플 크기는 무엇인가?
• RQ3 랜덤 서브가우시안 노이즈 하에서 RGrad 알고리즘이 통계적으로 거의 최적의 복원률을 달성하는가?
• RQ4 재조건화 없이도 수렴 속도가 텐서 조건수에 독립적인가?
• RQ5 제안된 온난 초기화 방법은 기존의 스펙트럼 초기화와 비교해 샘플 복잡도와 강건성 측면에서 어떻게 다른가?

주요 결과

• RGrad는 텐서 조건수에 독립적인 일정한 수축률을 갖는 선형 수렴을 보이며, 재조건화가 필요 없어진다.
• 알고리즘은 거의 최적의 샘플 크기 조건 하에서 수렴을 달성하며, 정보 이론적 한계에 로그 인자 외에는 일치한다.
• 제안된 순차적 제2모멘트 방법은 동일한 샘플 크기 요구 조건 하에서 높은 확률로 온난 초기화를 보장한다.
• 관측된 항목이 랜덤 서브가우시안 노이즈에 의해 오염된 경우, 이 방법은 통계적으로 거의 최적의 복원률을 달성한다.
• 수치 실험은 이론적 결과를 확인하고 TT 형식의 구조 덕분에 뚜렷한 계산 속도 향상을 보여준다.
• 기존의 행렬 복원 분석을 개선하여 더 강력한 보장을 갖는 텐서 영역으로 확장한다.