[논문 리뷰] Convergence results for projected line-search methods on varieties of low-rank matrices via \L{}ojasiewicz inequality

Reinhold Schneider, André Uschmajew|arXiv (Cornell University)|2014. 02. 21.

Advanced Optimization Algorithms Research참고 문헌 41인용 수 9

한 줄 요약

이 논문은 저랭크 행렬의 다양체(랭크 ≤ k)에서 투영된 선 탐색 방법의 수렴성을, 투영된 반기울기에서의 Lojasiewicz 부등식을 사용하여 확립한다. 미분 가능하지 않은 M≤k의 폐포에 대한 리만 기하학 최적화를 접선 원뿔과 거리 투영을 통해 확장함으로써, 실해석 함수에 대해 전역 수렴을 증명하고, 곡률 경계가 필요로 하지 않는 점근적 수렴 속도를 도출한다. 임계점은 매끄러운 랭크-k 다양체 내부 또는 기울기가 0인 점에 위치한다.

ABSTRACT

The aim of this paper is to derive convergence results for projected line-search methods on the real-algebraic variety $\mathcal{M}_{\le k}$ of real $m imes n$ matrices of rank at most $k$. Such methods extend Riemannian optimization methods, which are successfully used on the smooth manifold $\mathcal{M}_k$ of rank-$k$ matrices, to its closure by taking steps along gradient-related directions in the tangent cone, and afterwards projecting back to $\mathcal{M}_{\le k}$. Considering such a method circumvents the difficulties which arise from the nonclosedness and the unbounded curvature of $\mathcal{M}_k$. The pointwise convergence is obtained for real-analytic functions on the basis of a \L{}ojasiewicz inequality for the projection of the antigradient to the tangent cone. If the derived limit point lies on the smooth part of $\mathcal{M}_{\le k}$, i.e. in $\mathcal{M}_k$, this boils down to more or less known results, but with the benefit that asymptotic convergence rate estimates (for specific step-sizes) can be obtained without an a priori curvature bound, simply from the fact that the limit lies on a smooth manifold. At the same time, one can give a convincing justification for assuming critical points to lie in $\mathcal{M}_k$: if $X$ is a critical point of $f$ on $\mathcal{M}_{\le k}$, then either $X$ has rank $k$, or $ abla f(X) = 0$.

연구 동기 및 목표

• 랭크-k 행렬의 다양체 Mk가 닫혀 있지 않으며 비선형적이므로, Riemann 기반 최적화에서 수렴 문제를 해결하기 위해.
• 특이점에서의 접선 원뿔을 통합하여, 랭크 ≤ k인 닫힌 실대수 다양체 M≤k로 선 탐색 방법을 확장하기 위해.
• M≤k에서 실해석 함수에 대해 투영된 반기울기에서의 Lojasiewicz 부등식을 사용하여 전역 수렴을 확립하기 위해.
• 곡률 경계를 사전에 요구하지 않고, 극한 점이 M≤k의 매끄러운 부분에 위치할 경우에만 기반하여 점근적 수렴 속도 추정을 도출하기 위해.
• M≤k에서의 임계점이 랭크-k 행렬이거나 기울기가 0인 점이어야 한다는 것을 정당화하여, 전체 다양체에서의 실용적 최적화를 뒷받던지기 위해.

제안 방법

• 각 반복 단계에서 음의 기울기를 M≤k의 접선 원뿔에 투영함으로써, 기존 Riemann 최적화 방법에서 사용하는 접선 공간 투영을 대체한다.
• 거리 투영 재구성: R(X + Ξ) = argmin_{Y ∈ M≤k} ||Y - (X + Ξ)||_F 로 정의되며, SVD를 통해 계산 가능하다.
• 강한 내림과 안전장치 조건을 만족하는 스텝 사이즈를 갖는 선 탐색 전략을 적용한다.
• 투영된 반기울기에서의 Lojasiewicz 기울기 부등식을 활용하여, 임계점으로의 수렴을 증명한다.
• Lojasiewicz 매개변수 (θ, Λ)를 사용하여 점근적 수렴 속도를 추정하고, 재귀 부등식을 통해 명시적 경계를 유도한다.
• f_n, ||x_{n+1} - x_n||, f_θ^n을 포함하는 부등식의 수열을 분석하여, θ ∈ (0, 1)에 대해 수렴 속도 추정을 도출한다.

실험 결과

연구 질문

• RQ1 M≤k(즉, Mk의 폐포)에서 투영된 선 탐색 방법이 곡률 경계나 정규화 없이도 전역 수렴을 달성할 수 있는가?
• RQ2 극한 점이 M≤k의 매끄러운 부분에 위치할 경우, 투영된 반기울기에서의 Lojasiewicz 부등식이 수렴을 어떻게 보장하는가?
• RQ3 이러한 방법의 점근적 수렴 속도는 무엇이며, 2차 정보 없이도 추정 가능할 수 있는가?
• RQ4 왜 f의 임계점이 M≤k에서 랭크-k 행렬이거나 ∇f(X) = 0을 만족해야 한다고 간주할 수 있는가?
• RQ5 이 이론적 프레임워크는 Tucker 또는 텐서 트레인 형식과 같은 랭크가 유계인 텐서 다양체로 확장될 수 있는가?

주요 결과

• 실해석 함수에 대해 투영된 반기울기에서의 Lojasiewicz 부등식을 사용하여, M≤k에서의 투영 선 탐색 방법의 전역 수렴이 확립되었다.
• 극한 점이 매끄러운 부분 Mk에 위치할 경우, 곡률 경계 없이도 Lojasiewicz 매개변수 θ와 Λ만으로 수렴 속도 추정이 가능하다.
• θ = 1/2일 경우 선형 수렴이 달성되며, θ < 1/2일 경우 O(n^{−p})의 비선형 수렴 속도를 얻을 수 있으며, 이때 p = θ/(1−2θ)이다.
• 임계점 조건이 정당화된다: f의 임계점 X가 M≤k에서 정의될 경우, 랭크(X) = k 또는 ∇f(X) = 0이 성립한다.
• 수치 실험은 M≤k에서의 방법이 랭크 부족 문제를 피하고 해로 수렴함을 확인하였지만, 랭크 추정은 여전히 도전 과제로 남아 있다.
• 이론적 프레임워크는 Tucker 또는 텐서 트레인 형식과 같은 랭크가 유계인 텐서 다양체로의 Riemann 최적화 확장을 위한 기초를 제공한다.