[논문 리뷰] Quadratic Optimization with Orthogonality Constraints: Explicit Lojasiewicz Exponent and Linear Convergence of Line-Search Methods

Huikang Liu, Weijie Wu외 1명|arXiv (Cornell University)|2015. 10. 05.

Advanced Optimization Algorithms Research참고 문헌 23인용 수 13

한 줄 요약

이 논문은 스티펠 만에 다에서 직교 제약 조건이 있는 이차 최적화 문제에 대해 명시적인 Łojasiewicz 지수를 확립하여, 넓은 범위의 선 탐색 방법에 대해 차원에 의존하지 않는 선형 수렴 증명을 가능하게 한다. 비판점에 대한 국소 리프시츠 오차 바운드를 유도함으로써, 고유값 제약 없이 선형 수렴을 보여주며, 비볼록 행렬 최적화 문제의 수렴 속도 분석을 크게 발전시킨다.

ABSTRACT

A fundamental class of matrix optimization problems that arise in many areas of science and engineering is that of quadratic optimization with orthogonality constraints. Such problems can be solved using line-search methods on the Stiefel manifold, which are known to converge globally under mild conditions. To determine the convergence rate of these methods, we give an explicit estimate of the exponent in a Lojasiewicz inequality for the (non-convex) set of critical points of the aforementioned class of problems. By combining such an estimate with known arguments, we are able to establish the linear convergence of a large class of line-search methods. A key step in our proof is to establish a local error bound for the set of critical points, which may be of independent interest.

연구 동기 및 목표

• 비볼록 이차 최적화 문제에 대한 선 탐색 방법의 수렴 속도 분석 부족을 해결한다.
• 볼록성 또는 엄격한 고유값 가정에 의존하는 기존 방법의 한계를 극복한다.
• 이러한 문제의 비판점 집합에 대한 명시적이고 차원에 의존하지 않는 Łojasiewicz 지수 추정치를 제공한다.
• 새로운 Łojasiewicz 지수 추정치를 사용하여 광범위한 선 탐색 방법의 선형 수렴을 확립한다.
• 비볼록 비판점 집합에 대한 국소 오차 바운드를 개발하며, 이는 최적화 이론에서 별도의 관심을 가질 수 있다.

제안 방법

• X^T X = I_n 를 만족하는 스티펠 만에 다 St(m,n) 위에서 F(X) = tr(X^T A X B) 를 최소화하는 문제로 공식화한다.
• 재구성(리트랙션)을 사용하여 타당성을 유지하면서 스티펠 만에 다 위에서 선 탐색 방법을 적용하며, 갱신식은 X_{k+1} = R(X_k, \alpha_k \xi_k) 이다.
• 최적성 조건의 구조를 분석하여 비판점 집합에 대한 국소 리프시츠 오차 바운드를 확립한다.
• 특이값 분해와 직교 프로크루스테스 문제 기법을 사용하여 해의 다양체까지의 거리를 바운드한다.
• 직교성에서의 최소 프로베니우스 노름 편차에 대한 명시적 Θ(\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \|_F^2) 추정치를 유도한다.
• 기존의 Łojasiewicz 부등식 프레임워크와 오차 바운드를 조합하여 선 탐색 방법의 선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 직교 제약 조건이 있는 이차 최적화 문제의 비볼록 비판점 집합에 대한 명시적 Łojasiewicz 지수 값은 무엇인가?
• RQ2 비판점 집합에 대해 차원에 의존하지 않는 국소 오차 바운드를 확립할 수 있는가?
• RQ3 새로운 Łojasiewicz 지수 추정치가 고유값 제약 없이 선 탐색 방법의 선형 수렴 결과를 가능하게 하는가?
• RQ4 오차 바운드는 최적성 조건 분해에서 비대각 블록의 프로베니우스 노름과 어떻게 관련이 있는가?
• RQ5 다중 고유값 또는 n > 1 인 경우로의 분석을 확장할 수 있는가? (논문의 일반성에 따라 암시됨)

주요 결과

• 문제의 차원 m 및 n에 의존하지 않는 명시적 Łojasiewicz 지수가 도출되었으며, 정밀한 수렴 속도 분석이 가능해졌다.
• 비판점 집합에 대한 국소 오차 바운드는 dist^2(X, \mathcal{X}_h) = \sum_{i \neq j} \|Y_{ij}\|_F^2 + \sum_i \Theta\left(\left\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \right\|_F^2 \right) 로 확립되었으며, 이는 수렴 증명의 핵심이다.
• 최소 고유값이 단순하거나 헤시안 행렬이 양의 정부호일 필요 없이도 선 탐색 방법의 선형 수렴이 증명되었다.
• n > 1 이며 고유값의 중복도가 1 초과일 경우에도 수렴이 유지되며, 이는 이전의 제약 조건을 초월한다.
• 직교 프로크루스테스 문제와 SVD에 기반한 오차 바운드 기법은 날카운 추정치 v_i^* = \Theta\left(\left\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \right\|_F^2 \right) 를 제공하며, 이는 분석의 중심이 된다.
• 이 결과는 표준 재구성과 아르미조 타입 선 탐색을 사용하는 선 탐색 방법의 광범위한 클래스에 적용되며, 약한 가정 하에 성립한다.