[논문 리뷰] Convergence of Alternating Least Squares Optimisation for Rank-One Approximation to High Order Tensors

Mike Espig, Aram Khachatryan|arXiv (Cornell University)|2015. 03. 18.

Tensor decomposition and applications참고 문헌 17인용 수 7

한 줄 요약

이 논문은 고차원 텐서의 랭크-일치 근사에 대해 교대 최소 제곱(ALS) 알고리즘의 수렴 행동을 분석하며, 텐서의 구조에 따라 하향 수렴, Q-선형 수렴, 또는 Q-초선형 수렴할 수 있음을 증명한다. 분석은 텐서 형식의 다중선형성에 기반하며, 로자예프스키 부등식이나 비선형 가우스-세이델 수렴 이론에 의존하지 않는 이론적 근거를 제공한다.

ABSTRACT

The approximation of tensors has important applications in various disciplines, but it remains an extremely challenging task. It is well known that tensors of higher order can fail to have best low-rank approximations, but with an important exception that best rank-one approximations always exists. The most popular approach to low-rank approximation is the alternating least squares (ALS) method. The convergence of the alternating least squares algorithm for the rank-one approximation problem is analysed in this paper. In our analysis we are focusing on the global convergence and the rate of convergence of the ALS algorithm. It is shown that the ALS method can converge sublinearly, Q-linearly, and even Q-superlinearly. Our theoretical results are illustrated on explicit examples.

연구 동기 및 목표

• 랭크-일치 텐서 근사의 맥락에서 교대 최소 제곱(Als) 알고리즘의 전역 수렴성과 수렴 속도 분석을 수립하기 위해.
• 최적의 낮은 랭크 근사가 존재하지 않을 수 있는 고차원 텐서 근사에서, 최적의 랭크-일치 근사가 항상 존재한다는 점을 고려하여 수렴 행동을 이해하는 데 도전하기 위해.
• 로자예프스키 기울기 부등식이나 비선형 가우스-세이델 수렴 이론에 의존하지 않는 ALS 수렴에 대한 이론적 기반을 제공하기 위해.
• 텐서의 구조와 초기 조건에 따라 수렴 속도(하향 수렴, Q-선형 수렴, Q-초선형 수렴)를 특성화하기 위해.
• 직접적인 예시를 통해 이론적 결과를 검증하기 위해, 특히 정규직교 분해 가능한 텐서와 전자 구조 이론에서 유래한 물리적으로 의미 있는 텐서를 포함하여.

제안 방법

• ALS 알고리즘은 비선형 가우스-세이델 방법으로 공식화되며, 다른 요소들을 고정한 채로 한 번에 하나의 요소 벡터에 대해 목적 함수를 최소화하는 방식으로 반복 수행된다.
• 목적 함수는 텐서 내적과 주어진 텐서 $ b $를 포함하는 이차형식으로 정의되며, $ \|b\|^2 $로 정규화된다.
• 반복값의 정확한 재귀 관계 유도를 가능하게 하는 텐서 형식 $ U(p_1, \dots, p_d) = \bigotimes_{\mu=1}^d p_\mu $의 다중선형성에 기반하여 수렴 분석을 수행한다.
• 반복값과 극한 텐서 사이의 각도 행동을 이용하여 수렴 속도를 분석하며, 근접도를 측정하기 위해 $ \tan \varphi_k $를 사용한다.
• 수렴 속도는 비율 $ q_k = \frac{\tan \varphi_{k+1}}{\tan \varphi_k} $의 渐近 행동을 연구함으로써 이론적으로 도출되며, 이 비율이 하향 수렴, Q-선형 수렴, 또는 Q-초선형 수렴을 결정한다.
• 정규직교 분해 가능한 텐서와 변형된 랭크-일치 구조를 포함한 다양한 수렴 영역을 설명하는 직접적인 예시를 구성한다.

실험 결과

연구 질문

• RQ1 랭크-일치 텐서 근사에 대한 ALS 알고리즘이 전역 수렴을 달성할 수 있으며, 어떤 조건에서 그러한 수렴이 이루어지는가?
• RQ2 고차원 텐서에 대해 ALS 방법의 가능한 수렴 속도(하향 수렴, Q-선형 수렴, Q-초선형 수렴)는 무엇인가?
• RQ3 초기 추측 값이 ALS 알고리즘의 수렴 행동과 수렴점에 어떤 영향을 미치는가?
• RQ4 텐서 형식의 다중선형성에 의해 수렴 속도를 분석적으로 특성화할 수 있는가?
• RQ5 정규직교 분해 가능한 텐서나 변형된 랭크-일치 텐서와 같은 다양한 텐서 구조는 수렴 역학에 어떤 영향을 미치는가?

주요 결과

• 모든 고차원 텐서에 대해 랭크-일치 근사의 최적 근사에 대해 ALS 알고리즘이 전역 수렴하며, 랭크-일치 텐서의 집합이 텐서 공간에서 닫혀 있다는 점에 기반한다.
• ALS의 수렴 속도는 텐서의 구조와 초기 조건에 따라 하향 수렴, Q-선형 수렴, 또는 Q-초선형 수렴이 될 수 있다.
• 예제 1의 정규직교 분해 가능한 텐서에서, 초기 추측 값이 주요 성분에 가까울 경우 ALS는 Q-초선형 수렴한다.
• 예제 2에서는 메탄 분자의 이중 전자 통합을 모델링한 결과, ALS는 Q-선형 수렴을 보이며 실제 응용에서의 실용적 수렴 행동을 보여준다.
• 예제 3에서는 변형된 랭크-일치 텐서에서 $ \lambda = 0.5 $일 경우 하향 수렴이 발생하지만, $ \lambda = 0.2 $일 경우 Q-선형 수렴이 관찰되어 수렴 속도가 매개변수 값에 의존함을 보여준다.
• 수렴 속도는 $ \tan \varphi_k $의 감쇠 속도에 의해 결정되며, $ q_k = \frac{\tan \varphi_{k+1}}{\tan \varphi_k} \to 0 $은 Q-초선형 수렴을 의미하고, $ q_k \to c \in (0,1) $는 Q-선형 수렴을 의미하며, $ q_k \to 1 $은 하향 수렴을 의미한다.