[논문 리뷰] On the Exponential Stability of Projected Primal-Dual Dynamics on a Riemannian Manifold

Prashant Bansode, Venkatesh Chinde외 3명|arXiv (Cornell University)|2019. 05. 11.

Optimization and Variational Analysis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 선형 부등식 제약 조건을 가진 볼록 최적화 문제에 대해, 리만 다양체 기반의 재구성된 투사 원리-쌍대 역동성을 제안하며, 적절한 리만 계량을 통해 라그랑주 그래디언트의 강한 모노톤성을 확보함으로써 전역 지수 안정성을 달성한다. 주요 결과는 그래디언트 맵의 리프시츠 연속성 하에서, 명시적인 지수 감쇠 경계를 갖는 전역 지수 안정성과 안정한 안장점 수렴을 보장하는 것이다.

ABSTRACT

Equivalence of convex optimization, saddle-point problems, and variational inequalities is a well-established concept. The variational inequality (VI) is a static problem which is studied under dynamical settings using a framework called the projected dynamical system, whose stationary points coincide with the static solutions of the associated VI. VI has rich properties concerning the monotonicity of its vector-valued map and the uniqueness of its solution, which can be extended to convex optimization and saddle-point problems. Moreover, these properties also extend to the representative projected dynamical system. The objective of this paper is to harness rich monotonicity properties of the representative projected dynamical system to develop the solution concepts of the convex optimization problem and the associated saddle-point problem. To this end, this paper studies a linear inequality constrained convex optimization problem and models its equivalent saddle-point problem as a VI. Further, the VI is studied as a projected dynamical system\cite{friesz1994day} which is shown to converge to the saddle-point solution. By considering the monotonicity of the gradient of Lagrangian function as a key factor, this paper establishes exponential convergence and stability results concerning the saddle-points. Our results show that the gradient of the Lagrangian function is just monotone on the Euclidean space, leading to only Lyapunov stability of stationary points of the projected dynamical system. To remedy the situation, the underlying projected dynamical system is formulated on a Riemannian manifold whose Riemannian metric is chosen such that the gradient of the Lagrangian function becomes strongly monotone. Using a suitable Lyapunov function, the stationary points of the projected dynamical system are proved to be globally exponentially stable and convergent to the unique saddle-point.

연구 동기 및 목표

• 유계 공간에서 표준 투사 원리-쌍대 역동성의 리아푸노프 안정성에 한계가 있으며, 이는 명시적인 수렴 속도를 제공하지 못하므로 이를 해결하고자 한다.
• 선형 부등식 제약 조건이 있는 볼록 최적화 문제에서 안장점 역동성의 전역 지수 안정성을 달성하고자 한다.
• 유클리드 공간에서의 라그랑주 그래디언트의 강한 모노톤성 부족 문제를 리만 다양체에 동역학을 통합함으로써 해결하고자 한다.
• 리만 구조에 맞는 리아푸노프 함수를 활용하여 지수 수렴을 위한 충분조건을 수립하고자 한다.
• 온라인 및 분산 최적화 환경에서의 유한 시간 수렴 보장을 가능하게 하기 위해 이론적 프레임워크를 확장하고자 한다.

제안 방법

• 선형 부등식 제약 조건이 있는 볼록 최적화 문제의 안장점 문제를 변동 불평등 문제로 재구성한다.
• 리만 다양체 위에서의 투사 역동계로 모델링하며, 리만 계량을 특별히 선택하여 라그랑주 그래디언트의 강한 모노톤성을 유도한다.
• 비음수 직교구역 내에서 이중 변수에 대한 제약 조건을 강제하기 위해 리만 투사 연산자 $ P^r_{\mathcal{M}} $ 를 정의한다.
• 리만 노름 $ \|\cdot\|_r $ 기반의 리아푸노프 함수를 구성하여 안정성과 수렴성을 분석한다.
• 부등식 $ \|z(t) - z^*\|_r \leq \|z(0) - z^*\|_r e^{-\frac{\alpha\beta(4\nu - \alpha\ell^2)}{8}t} $ 를 사용하여 지수 수렴 경계를 유도하며, 이는 $ \alpha < \frac{4\nu}{\ell^2} $ 일 때 유효하다.
• 역동계의 오일러 이산화를 통한 이론적 결과 검증을 수행하였으며, 다양한 $ k $ 와 $ \nu $ 를 사용한 시뮬레이션에서 기하 수렴을 관찰하였다.

실험 결과

연구 질문

• RQ1 유계 공간에서의 투사 원리-쌍대 역동성은 리만 다양체에서 전역 지수 안정성을 달성할 수 있는가? 유계 공간의 공식은 오직 리아푸노프 안정성만을 제공한다.
• RQ2 지수 수렴을 보장하기 위해 리만 계량을 어떻게 설계할 수 있는가?
• RQ3 스텝 사이즈 $ \alpha, \beta $ 와 시스템 파라미터 $ \nu, \ell $ 에 대해 어떤 조건이 안장점으로의 오차 지수 감쇠를 보장하는가?
• RQ4 그래디언트 맵의 리프시츠 연속성 하에서도 제안된 프레임워크는 여전히 지수 수렴을 유지하는가?
• RQ5 오일러 이산화를 통한 이산 시간 구현에서 이론적 수렴 속도를 관찰할 수 있는가?

주요 결과

• 리만 다양체 위에서의 투사 원리-쌍대 역동성은 라그랑주 그래디언트의 강한 모노톤성을 계량 설계를 통해 확보함으로써 전역 지수 안정성을 달성한다.
• 지수 수렴 속도는 경계 $ \|z(t) - z^*\|_r \leq \|z(0) - z^*\|_r e^{-\frac{\alpha\beta(4\nu - \alpha\ell^2)}{8}t} $ 를 통해 정량화되며, 이는 $ \alpha < \frac{4\nu}{\ell^2} $ 일 때 유효하다.
• 매개변수 $ k $ 를 증가시키면 $ \nu $ 가 증가하며, 이는 지수 감쇠 계수를 향상시켜 시뮬레이션 결과에서 수렴 속도를 가속화한다.
• 시뮬레이션 결과는 이산 시간 투사 역동성의 기하 수렴을 확인하였으며, 연속 시간 지수 안정성 주장의 타당성을 검증한다.
• 원본 및 이중 변수는 $ x^* $ 와 $ \lambda^* $ 로 최적해로 수렴하며, 그 오차는 그림 5에서 보여지듯이 $ L_2 $-정규화 최소 제곱 문제에서 지수적으로 감소한다.
• 이 방법은 점근적 안정성보다 더 강력한 수렴 보장을 제공하므로, 실시간 및 온라인 최적화 응용 분야에 적합하다.