[논문 리뷰] Tensor Ring Decomposition: Energy Landscape and One-loop Convergence of Alternating Least Squares

Ziang Chen, Ying‐Zhou Li외 1명|arXiv (Cornell University)|2019. 05. 17.

Tensor decomposition and applications인용 수 3

한 줄 요약

이 논문은 텐서 링 분해를 교대 최소 제곱법(ALS)을 사용하여 분석하여, 고리 차원에 따라 최적화 난이도에 급격한 전이가 있음을 밝혀냈다: 과도한 파arameter화 상태에서도 가짜 국소 최소값이 존재하지만, 고리 차원이 충분히 크면 일주회 수렴이 증명된다. 이 작업은 이론적 분석과 수치적 검증을 결합하여 ALS가 텐서 링 학습에서 수렴하는 조건을 확립한다.

ABSTRACT

In this work, we study the tensor ring decomposition and its associated numerical algorithms. We establish a sharp transition of algorithmic difficulty of the optimization problem as the bond dimension increases: On one hand, we show the existence of spurious local minima for the optimization landscape even when the tensor ring format is much over-parameterized, i.e., with bond dimension much larger than that of the true target tensor. On the other hand, when the bond dimension is further increased, we establish one-loop convergence for alternating least square algorithm for tensor ring decomposition. The theoretical results are complemented by numerical experiments for both local minimum and one-loop convergence for the alternating least square algorithm.

연구 동기 및 목표

• 변동하는 고리 차원에서 텐서 링 분해의 최적화 경계를 이해하기 위해.
• 텐서 링 학습에서 가짜 국소 최소값의 존재와 영향을 조사하기 위해.
• 교대 최소 제곱법(ALS)이 일주회 수렴을 달성할 수 있는 조건을 설정하기 위해.
• ALS의 이론적 분석과 수치적 검증을 연결하기 위해.

제안 방법

• 비볼록 최적화 도구를 사용한 텐서 링 분해의 최적화 경계 이론적 분석.
• 과도한 파arameter화 설정에서 반례를 구성하여 가짜 국소 최소값을 규명하기.
• ALS의 일주회 수렴을 보장하는 고리 차원 조건 유도.
• 텐서 링 학습의 핵심 알고리즘 프레임워크로 교대 최소 제곱법(ALS) 사용.
• 국소 최소값과 수렴 행동에 대한 이론적 발견을 검증하기 위한 수치 실험.

실험 결과

연구 질문

• RQ1 고리 차원이 진짜 텐서의 질량보다 훨씬 클 때조차도 텐서 링 분해에서 가짜 국소 최소값이 존재하는가?
• RQ2 최적화 경계가 가짜 최소값이 있는 영역와 없는 영역로 나뉘는 전이점은 어느 고리 차원에서 발생하는가?
• RQ3 특정 과도한 파arameter화 조건 하에서 ALS가 텐서 링 분해에서 일주회 수렴을 이론적으로 보장할 수 있는가?
• RQ4 고리 차원이 증가함에 따라 ALS의 알고리즘적 행동은 어떻게 변화하는가, 특히 수렴성과 국소 최소값과의 관계에서?

주요 결과

• 고리 차원이 진짜 텐서의 질량보다 훨씬 클 때조차도 텐서 링 분해에서 가짜 국소 최소값이 존재함을 확인하여, 과도한 파arameter화만으로도 최적화 과제가 해결되지 않음을 시사한다.
• 고리 차원이 증가함에 따라 알고리즘 난이도에 급격한 전이가 발생하여, 가짜 최소값이 존재하는 영역과 존재하지 않는 영역로 분리된다.
• 고리 차원이 임계 임계값을 초과하면, 낮은 차원에서의 가짜 최소값 존재에도 불구하고 ALS의 일주회 수렴이 보장됨이 입증된다.
• 수치 실험을 통해 이론적 발견이 확인되었으며, 국소 최소값의 존재와 다양한 고리 차원에서의 ALS 수렴 행동이 모두 검증되었다.