[논문 리뷰] Simple algorithms for optimization on Riemannian manifolds with constraints

Changshuo Liu, Nicolas Boumal|arXiv (Cornell University)|2019. 01. 28.

Advanced Optimization Algorithms Research참고 문헌 42인용 수 4

한 줄 요약

이 논문은 고전적인 제약 최적화 방법—보완 라그랑주법과 정확한 페널티 방법—을 등급 다양체 위로 확장하여 기하학적 구조를 유지함으로써 성능 향상을 이룬다. 이는 비음수 주성분 분석, k-평균, 최소 균형 컷과 같은 고차원 문제에서 타당성과 계산 효율성이 뛰어나며, 유클리드 공간에서 다양체를 등가 제약 조건으로 간주하는 것과 비교해도 뛰어난 성능을 보인다.

ABSTRACT

We consider optimization problems on manifolds with equality and inequality constraints. A large body of work treats constrained optimization in Euclidean spaces. In this work, we consider extensions of existing algorithms from the Euclidean case to the Riemannian case. Thus, the variable lives on a known smooth manifold and is further constrained. In doing so, we exploit the growing literature on unconstrained Riemannian optimization. For the special case where the manifold is itself described by equality constraints, one could in principle treat the whole problem as a constrained problem in a Euclidean space. The main hypothesis we test here is whether it is sometimes better to exploit the geometry of the constraints, even if only for a subset of them. Specifically, this paper extends an augmented Lagrangian method and smoothed versions of an exact penalty method to the Riemannian case, together with some fundamental convergence results. Numerical experiments indicate some gains in computational efficiency and accuracy in some regimes for minimum balanced cut, non-negative PCA and $k$-means, especially in high dimensions.

연구 동기 및 목표

• 유계 공간에서의 고전적 제약 최적화 알고리즘—보완 라그랑주법과 정확한 페널티 방법—을 등급 다원체로 확장하여 등가 및 비등가 제약 조건을 포함한 문제에 적용하는 것.
• 다양체 제약 조건의 내재 기하학적 성질을 활용할 경우, 유클리드 공간에서 다양체를 추가 등가 제약 조건으로 간주하는 것과 비교해 수렴성과 계산 효율성이 향상되는지 조사하는 것.
• 이러한 방법의 리만 기반 확장에 대한 기본적인 수렴 성질(국소 및 전역)을 확립하는 것.
• 비음수 주성분 분석, k-평균, 최소 균형 컷과 같은 실제 문제에 대해 제안된 리만 최적화 알고리즘의 성능을 평가하는 것.
• 리만 기하학적 성질을 고려하지 않는 표준 비선형 프로그래밍 솔버(fmincon 등)와의 비교 기준을 제공하는 것.

제안 방법

• 다양체에 특화된 재구성과 벡터 운반을 통합하여 보완 라그랑주법을 리만 다양체에 적용함으로써 반복값이 다양체 위에 유지되도록 하는 것.
• 최소 합-최대 하위문제를 정의하여 제약 위반의 최대값 함수를 포함하는 비연속적인 문제로 정확한 페널티 방법을 리만 설정으로 확장하는 것.
• 정확한 페널티 방법에서 발생하는 최소 합-최대 하위문제를 해결하기 위해 기울기 샘플링 없이도 안정적인 하향 경사법을 개발하는 것.
• 비연속 페널티 하위문제를 근사하기 위해 고전적인 두 가지 스무딩 함수—로그합지수와 '선형-제곱 + 투명 손실'—를 사용하는 스무딩 기법을 적용하는 것.
• 기존 알고리즘과 리만 최적화 프레임워크를 통합하여 매 반복에서 다양체 제약 조건을 수치적으로 정확도 유지하는 것.
• 리만 알고리즘을 구현하고, 다양체를 유클리드 공간의 추가 등가 제약 조건으로 간주하는 기준선 fmincon 솔버와의 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 보완 라그랑주법과 정확한 페널티 방법과 같은 고전적 제약 최적화 방법을 등가 및 비등가 제약 조건이 있는 리만 다양체로 성공적으로 확장할 수 있는가?
• RQ2 다양체 제약 조건의 리만 기하학적 성질을 활용할 경우, 유클리드 공간에서 다양체를 추가 등가 제약 조건으로 간주하는 것과 비교해 수렴 속도와 정확도가 향상되는가?
• RQ3 이러한 방법의 리만 기반 확장판의 수렴 성질은 유클리드 기반 동료들과 비교해 어떻게 다른가?
• RQ4 비음수 주성분 분석, k-평균, 최소 균형 컷과 같은 고차원 문제에서 리만 기반 ALM 및 정확한 페널티 방법의 실증 성능은 어떠한가?
• RQ5 특정 문제 영역(예: 고차원성)에서는 리만 방법이 fmincon과 같은 표준 비선형 프로그래밍 솔버보다 뚜렷이 슈퍼리어한 성능을 보이는가?

주요 결과

• 고차원 문제에서는 다양체의 기하학적 구조를 활용하는 리만 알고리즘이 다양체를 추가 등가 제약 조건으로 간주하는 기준선 fmincon 솔버보다 뛰어난 성능을 보였다.
• 비음수 주성분 분석에서 리만 정확한 페널티 방법은 최대 제약 위반률 $2.13 \cdot 10^{-7}$을 달성하여 fmincon의 $4.44 \cdot 10^{-5}$보다 훨씬 낮았다.
• 와인 데이터셋에서 k-평균 클러스터링의 경우, 리만 보완 라그랑주법은 계산 시간을 $1.70 \cdot 10^{2}$ 초로 줄였고, fmincon은 $3.86 \cdot 10^{3}$ 초였다.
• Pima 데이터셋에서 리만 정확한 페널티 방법은 비용을 $9.48 \cdot 10^{-3}$으로 달성하여 fmincon의 $2.60 \cdot 10^{-2}$를 뛰어넘었고, 최대 위반률은 $2.10 \cdot 10^{-10}$이었다.
• 클라우드 데이터셋(k=4)에서 리만 정확한 페널티 방법은 가장 낮은 비용($5.49 \cdot 10^{-4}$)과 가장 빠른 시간($3.65 \cdot 10^{3}$ 초)을 기록하여 다른 방법들을 압도했다.
• 최소 합-최대 문제를 위한 제안된 강력한 하향 경사법은 기울기 샘플링 없이도 안정성과 성능 향상을 보였으며, 이는 비연속 리만 최적화에 광범위한 적용 가능성을 시사한다.