[논문 리뷰] A Riemannian low-rank method for optimization over semidefinite matrices with block-diagonal constraints

Nicolas Boumal|arXiv (Cornell University)|2015. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 50

한 줄 요약

이 논문은 블록 대각 항등 제약 조건을 가진 준정형계획문제를 해결하기 위해 리만 다양체 기반의 저질서 최적화 방법을 제안한다. 이 방법은 저질서 행렬 다각형의 부드러운 기하학적 성질을 활용하여 두 번째 순서 임계점을 효율적으로 찾는다. 이 접근법은 '계단법'으로 불리며, 수렴이 두 번째 순서 임계점에 도달할 경우에만 해결 공간의 질서를 동적으로 조정함으로써, 상태의 최고 수준의 솔버보다 수개의 순서 빠른 속도 향상과 더 높은 정확도를 달성한다. 이는 최대 컷(Max-Cut) 및 순열 복원 문제에서 80%까지의 노이즈 측정값이 존재하는 상황에서도 가능하며, 제약된 질서를 갖는 KKT 점으로 수렴함을 보장한다.

ABSTRACT

We propose a new algorithm to solve optimization problems of the form $\min f(X)$ for a smooth function $f$ under the constraints that $X$ is positive semidefinite and the diagonal blocks of $X$ are small identity matrices. Such problems often arise as the result of relaxing a rank constraint (lifting). In particular, many estimation tasks involving phases, rotations, orthonormal bases or permutations fit in this framework, and so do certain relaxations of combinatorial problems such as Max-Cut. The proposed algorithm exploits the facts that (1) such formulations admit low-rank solutions, and (2) their rank-restricted versions are smooth optimization problems on a Riemannian manifold. Combining insights from both the Riemannian and the convex geometries of the problem, we characterize when second-order critical points of the smooth problem reveal KKT points of the semidefinite problem. We compare against state of the art, mature software and find that, on certain interesting problem instances, what we call the staircase method is orders of magnitude faster, is more accurate and scales better. Code is available.

연구 동기 및 목표

• 정규직교 행렬을 포함하는 비볼록 최적화 문제의 계산 비가역성 문제를 해결하기 위해, 위상 복원, 최대 컷, 순열 복원 문제에서 발생하는 문제들을 다루는 것.
• 준정형계획문제(SDP)에 대한 내부점 방법(IPM)의 확장성 한계를 해결하기 위해, 해 공간 내의 저질서 구조를 활용하는 것.
• 원래 준정형 완화 문제의 KKT 점에 해당하는 두 번째 순서 임계점을 효율적으로 계산하기 위해 저질서 다각형 위에서 작동하는 리만 최적화 프레임워크를 개발하는 것.
• 완화된 문제의 해에 대해 결정론적 질서 한계를 제공하여, 최적성을 확보하기 위해 낮은 차원의 다각형만 탐색하면 되도록 하는 것.
• 실제 문제 사례, 특히 고 outlier 비율을 가진 문제들에 대해, 이론적 분석을 바탕으로 속도, 정확도, 노이즈에 대한 강건성 면에서의 우수성을 실증적으로 검증하는 것.

제안 방법

• 원래 비볼록 문제를 $ Y $ 가 정규직교 행을 갖는 곱 스티펠 맨포ลด라이프 $ \mathrm{St}(d,p)^m $ 위에서 $ f(YY^\top) $ 를 최소화하는 형태로 공식화한다.
• 스펙트라헤드론 $ \mathcal{C} = \{ X \succeq 0, X_{ii} = I_d \} $ 위에서 준정형계획문제(SDP)로 문제를 올리며, 암묵적인 질서 제약 조건 $ \operatorname{rank}(X) \leq p $ 를 포함한다.
• 완전한 질서의 밀도 행렬 연산을 피하기 위해, 저질서 다각형 $ \mathrm{St}(d,p)^m $ 위에서 리만 최적화를 사용하여 비볼록 문제를 직접 해결한다.
• 초기 질서 $ p = d+1 $ 로 시작하며, 두 번째 순서 임계점으로 수렴할 경우에만 필요에 따라 질서를 점진적으로 증가시키는 '계단법'을 도입한다.
• 리만 기하학과 볼록 기하학의 통찰을 활용하여, 저질서 다각형 위의 두 번째 순서 임계점이 전체 준정형계획문제의 KKT 점이 되는 조건을 특성화한다.
• 수렴을 보장하기 위해 선형 탐색을 사용하는 리만 트러스트 리전(RTR)을 적용하고, 정규화 파rameter $ \varepsilon $ 의 감소하는 값들 사이에서 웜스타트를 활용한다.

실험 결과

연구 질문

• RQ1 형태 $ \mathrm{St}(d,p)^m $ 의 저질서 리만 다각형 위의 두 번째 순서 임계점은 블록 대각 항등 제약 조건이 있는 전체 준정형완화 문제의 KKT 점이 될 수 있는가?
• RQ2 원래 문제의 KKT 점에 해당하는 저질서 다각형 위의 두 번째 순서 임계점이 보장되기 위해 고려해야 할 최소 질서 $ p^* $ 는 얼마인가?
• RQ3 비볼록 준정형계획문제 완화에 대해, 성숙한 솔버인 IPM 및 ADM 와 비교할 때 제안된 리만 저질서 방법의 속도, 정확도, 노이즈에 대한 강건성은 어떠한가?
• RQ4 노이즈 환경에서, 예를 들어 최대 80%의 무작위 이상치가 존재하는 상황에서도 이 방법이 완벽한 복원을 달성할 수 있는가? 이는 계산 효율성과 전역 유사 해로의 수렴을 유지하면서도 가능한가?
• RQ5 비볼록 비용 함수에 대해, 사기적 국소 최소값을 배제하는 것 외에도, KKT 점이면서도 두 번째 순서 임계점이 되는 저질서 다각형 위에서의 점을 계산할 수 있는가?

주요 결과

• 계단법는 최대 컷 및 순열 복원 문제에서 IPM 및 ADM 등 최첨단 솔버보다 수개의 순서 빠른 수렴 속도와 더 높은 정확도를 달성한다.
• 최대 80%의 무작위 이상치가 존재하는 문제에서, 의사 허버 손실을 사용한 방법은 근사적으로 완벽한 복원(평균 제곱 오차 < $ 10^{-6} $)을 달성하고 질서 $ d $ 의 두 번째 순서 임계점으로 수렴한다.
• 해는 $ \sigma_{d+1}(Y) \approx 10^{-10} $, $ \|\mathrm{grad}\,g(Y)\| \leq 10^{-6} $, 그리고 $ \lambda_{\min}(\mathrm{Hess}\,g(Y)) \geq -10^{-10} $ 를 만족하며, 이는 고급도의 KKT 점을 나타낸다.
• 이론적 분석에 따르면, 최적성을 확보하기 위해 고려해야 할 질서는 $ p^* = \frac{\sqrt{1+4md(d+1)}-1}{2} < (d+1)\sqrt{m} \ll n $ 으로, 최적성에 대한 결정론적 질서 한계를 제공한다.
• 실증적으로, 고노이즈 환경에서도 $ p $ 를 $ d+1 $ 를 초과하지 않게 유지하면서 전역 최적해를 식별한다. 이는 전역 해가 낮은 질서의 부분공간에 존재함을 시사한다.
• IPM는 중간 크기의 인스턴스에서 메모리가 부족해지는 반면, 이 방법은 더 나은 확장성과 노이즈 및 조합 최적화 문제에서 뛰어난 성능을 유지한다.