[논문 리뷰] A high-order augmented Lagrangian method with arbitrarily fast convergence

Young-Ju Lee, Jongho Park|arXiv (Cornell University)|2026. 01. 16.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

선형 제약이 있는 볼록 최적화에 대한 고차 보강 라그랑주법을 도입하고, 고차 근사 포인트 프레임워크와 proximal point method와의 이중성을 활용함으로써 임의로 빠른—and 심지어 초선형—수렴을 달성한다.

ABSTRACT

We propose a high-order version of the augmented Lagrangian method for solving convex optimization problems with linear constraints, which achieves arbitrarily fast -- and even superlinear -- convergence rates. First, we analyze the convergence rates of the high-order proximal point method under certain uniform convexity assumptions on the energy functional. We then introduce the high-order augmented Lagrangian method and analyze its convergence by leveraging the convergence results of the high-order proximal point method. Finally, we present applications of the high-order augmented Lagrangian method to various problems arising in the sciences, including data fitting, flow in porous media, and scientific machine learning.

연구 동기 및 목표

• 선형 제약이 있는 볼록 최적화를 고차 보강 라그랑주 프레임워크를 사용하여 동기를 부여하고 해결한다.
• 일관된 볼록성 하에서 에너지 함수의 (p,μ)-uniform convexity에 연결하여 수렴 속도를 확립한다.
• 임의로 빠른(초선형 포함) 수렴을 보여주고 계산적 측면 및 견고성에 대해 논의한다.
• 데이터 피팅, 다공질 매질 흐름, 과학적 머신 러닝의 응용을 보여준다.

제안 방법

• 에너지 함수의 (p,μ)-uniform convexity 하에서의 수렴성을 분석하고 고차 포인트 프레임워크를 개발한다.
• 고차 설정으로의 augmented Lagrangian과 proximal point 방법 사이의 이중성을 확장하여 high-order augmented Lagrangian method를 도출한다.
• 고차 proximal point 방법의 수렴 결과를 도출하고 이를 duality를 통해 augmented Lagrangian 프레임워크로 전달한다.
• primal 및 dual/subproblem 단계에 대한 명시적 업데이트 규칙을 제공하며, r-차수 및 ε 매개변수 선택을 포함한다.
• B가 촉지적(surjective)일 때 dual 업데이트의 수치적 안정성 문제를 (BB^T)^{-1}B∇F(u^{(n+1)})를 사용한 안정한 대안 형식으로 유도한다.
• ε→0일 때 거의 semicoercive한 primal 부분문제에 대응하고, ε-robust 서브스페이스 보정 방법이 안정적이고 확장 가능한 해를 제공할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 고차 보강 라그랑주법이 선형 제약이 있는 볼록 문제에 대해 임의로 빠르거나 초선형 수렴을 달성할 수 있는가?
• RQ2 고차 proximal point 프레임워크가 일관된_convexity 하에서 수렴 속도에 어떤 영향을 미치며 이를 augmented Lagrangian 설정으로 어떻게 전달할 수 있는가?
• RQ3 실무에서의 계산상의 도전과제(예: 수치적 안정성, 거의 semicoercive 하위문제)와 이를 어떻게 완화할 수 있는가?
• RQ4 제안된 방법이 선형 제약하에서의 데이터 피팅, Darcy–Forchheimer 흐름, 유한 뉴런 방법과 같은 응용에서 어떻게 성능을 보이는가?

주요 결과

• 고차 proximal point 방법은 (p,μ)-uniform convexity 하에서 차수(order)가 일관성 볼록도 수준을 넘으면 선형 또는 초선형 수렴을 달성한다.
• 이중성을 통해 이러한 수렴 결과가 고차 augmented Lagrangian 방법으로 전달되어 임의로 빠른 수렴 속도를 얻는다.
• dual 업데이트는 큰 r과 작은 ε에서 수치적 불안정을 초래할 수 있지만, 안정한 재구성은 이러한 불안을 피한다.
• ε→0에 따라 primal 하위문제는 거의 semicoercive해지며, ε-robust 서브스페이트 보정 방법은 안정적이고 확장 가능한 해를 제공할 수 있다.
• 프레임워크는 선형 제약 하에서의 ℓ^s 데이터 피팅, Darcy–Forchheimer 모델, 그리고 finite neuron 방법을 포함한 문제들에 대해 시연되었다.