[논문 리뷰] On the convergence of higher-order orthogonality iteration

Yangyang Xu|arXiv (Cornell University)|2015. 04. 02.

Tensor decomposition and applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 높은 차수의 직교 반복(HOOI)이 텐서의 저다중선형 랭크 근사에 대해 전역 수렴성을 확립하기 위해, Kurdyka-Łojasiewicz(KL) 성질을 만족시키는 탐욕적 변형을 도입한다. HOOI가 반복 수열이 블록 비퇴화 클러스터 점을 가지면 임계점으로 수렴하고, 근처에 블록 비퇴화 국소 최대점으로 초기화된 경우 국소 최적해로 수렴함을 증명하여, HOOI 수렴성에 관한 오랫동안 미해결이었던 열린 문제를 해결한다.

ABSTRACT

The higher-order orthogonality iteration (HOOI) has been popularly used for finding a best low-multilinear-rank approximation of a tensor. However, its iterate sequence convergence is still an open question. In this paper, we first analyze a greedy HOOI, which updates each factor matrix by selecting from the best candidates one that is closest to the current iterate. Assuming the existence of a block-nondegenerate limit point, we establish its global convergence through the so-called Kurdyka-Lojasiewicz (KL) property. In addition, we show that if the starting point is sufficiently close to any block-nondegenerate globally optimal solution, the greedy HOOI produces a sequence convergent to a globally optimal solution. Relating the iterate sequence by the original HOOI to that by the greedy HOOI, we then show that the same convergence results hold for the original HOOI and thus positively address the open question.

연구 동기 및 목표

• 높은 차수의 직교 반복(HOOI)이 텐서의 저다중선형 랭크 근사에 대해 전역 수렴하는지 여부라는 오랜 동안 미해결이었던 열린 문제를 다룬다.
• 각 단계에서 최선의 후보를 선택하는 탐욕적 변형을 분석하여 HOOI의 수렴성을 확립한다.
• 블록 비퇴화 조건 하에서 원래 HOOI의 수렴성이 탐욕적 HOOI와의 관계로부터 유도됨을 보인다.
• 블록 비퇴화 국소 최대점 근처에 초기화된 경우 HOOI가 국소 최적해로 수렴하는 조건을 제공한다.
• KL 성질과 블록 비퇴화 조건 하에서 HOOI가 생성하는 다중선형 부분공간 수열의 전역 수렴성을 보여준다.

제안 방법

• 각 반복 단계에서 현재 반복값에 가장 가까운 후보 집합에서의 인자 행렬을 선택하는 탐욕적 HOOI 변형을 제안한다.
• 블록 비퇴화 클러스터 점이 존재할 경우, Kurdyka-Łojasiewicz(KL) 성질을 이용해 탐욕적 HOOI의 전역 수렴성을 확립한다.
• 초기점이 충분히 블록 비퇴화 국소 최대점 근처에 있을 경우, 원래 HOOI의 반복 수열과 탐욕적 HOOI의 반복 수열이 동일한 다중선형 부분공간 투영을 생성함을 보여, 두 수열 간의 관계를 규명한다.
• 각 인자 행렬에 대해 스티펠 맨포ลด르 위에서 헤시안 행렬의 음의 정부호성을 블록 비퇴화로 정의하여 임계점의 안정성을 보장한다.
• 편미분 분석과 특이값 갭 조건(σ_{r_n}(G_n^k) > σ_{r_n+1}(G_n^k))을 활용해 업데이트 과정에서 주요 특이값 부분공간의 유일한 선택을 보장한다.
• 원래 HOOI 수열과 탐욕적 HOOI 수열 간의 목적함수 값과 부분공간 투영의 동치성을 활용하여 수렴 보장을 이전한다.

실험 결과

연구 질문

• RQ1 높은 차수의 직교 반복(HOOI)은 텐서의 저다중선형 랭크 근사에 대해 전역 수렴하는가?
• RQ2 수정된 탐욕적 HOOI 변형에 대해 Kurdyka-Łojasiewicz(KL) 성질 하에서 수렴성이 보장될 수 있는가?
• RQ3 원래 HOOI 수열이 임계점 또는 국소 최대점으로 수렴하는 데 필요한 조건은 무엇인가?
• RQ4 탐욕적 HOOI와 원래 HOOI의 반복 수열 및 다중선형 부분공간 수렴성 간의 관계는 어떠한가?
• RQ5 어떤 초기화 조건에서 HOOI가 국소 최적의 다중선형 부분공간으로 수렴하는가?

주요 결과

• 반복 수열이 블록 비퇴화 클러스터 점을 가지면, 탐욕적 HOOI는 임계점과 다중선형 최대화 문제의 블록별 최대점으로 전역 수렴한다.
• 초기점이 충분히 블록 비퇴화 국소 최대점 근처에 있을 경우, 탐욕적 HOOI는 그 국소 최대점으로 수렴한다.
• 반복 수열이 블록 비퇴화 클러스터 점을 가지면, 원래 HOOI 방법은 다중선형 부분공간 수열에 대해 전역 수렴한다.
• HOOI가 생성하는 다중선형 부분공간 수열은 임계점이자 목적함수의 블록별 최대점인 한계점으로 수렴한다.
• 블록 비퇴화 국소 최대점 근처에 충분히 가까운 초기화 조건 하에서 원래 HOOI의 다중선형 부분공간 수열이 탐욕적 HOOI와 일치함을 보여 수렴성을 확립한다.
• 블록 비퇴화성은 스티펠 맨포ลด르 위에서 헤시안 행렬의 음의 정부호성과 동치이며, 이는 수렴 안정성과 국소 수렴 보장을 위한 필수 및 충분 조건이다.