[논문 리뷰] Convergence Rates of Inertial Primal-Dual Dynamical Methods for Separable Convex Optimization Problems

Xin He, Rong Hu외 1명|arXiv (Cornell University)|2020. 07. 24.

Optimization and Variational Analysis참고 문헌 33인용 수 9

한 줄 요약

이 논문은 선형 제약 조건을 가진 분리 가능한 볼록 최적화 문제를 해결하기 위해 시간에 따라 변하는 감쇠를 갖는 이阶성(primal-dual) 역동 시스템을 제안한다. 리아프노프 분석을 통해 감쇠 함수 γ(t) = α/tʳ에 대해 이중성 간격(duality gap)의 수렴 속도가 O(t⁻⁽ʳ⁺¹⁾)이고 제약 위반(constraint violation)의 수렴 속도가 O(t⁻⁽ʳ⁺¹⁾ᐟ²)임을 입증하며, 외부 교란에 대한 강건성도 입증한다.

ABSTRACT

In this paper, we propose a second-order continuous primal-dual dynamical system with time-dependent positive damping terms for a separable convex optimization problem with linear equality constraints. By the Lyapunov function approach, we investigate asymptotic properties of the proposed dynamical system as the time $t o+\infty$. The convergence rates are derived for different choices of the damping coefficients. We also show that the obtained results are robust under external perturbations.

연구 동기 및 목표

• 선형 등식 제약 조건을 가진 분리 가능한 볼록 최적화 문제를 해결하기 위해 관성 항과 시간에 따라 변하는 감쇠를 갖는 이阶성 연속 역동 시스템을 개발한다.
• 리아프노프 함수를 사용하여 시간 t → ∞일 때 시스템의 渐近 수렴 행동을 분석한다.
• 다양한 감쇠 계수 선택 조건 하에서 이중성 간격과 제약 위반의 명시적 수렴 속도를 유도한다.
• 역동 시스템에서 외부 교란이 존재할 경우 수렴 속도가 어떻게 유지되는지 조사한다.
• 특히 변수 간 비트리비어(비트리비어) 결합이 있는 문제에 대해 이전의 이阶성 역동 시스템 결과를 일반화하고 개선한다.

제안 방법

• 기본 및 이중 변수 갱신에 속도(관성) 항을 포함한 시간에 따라 변하는 양수 감쇠 함수 γ(t)와 δ(t)를 갖는 이阶성 원시-이중 역동 시스템을 제안한다.
• 연속 시간 역동 시스템으로 모델링하며, 증강 라그랑지안의 헤시안을 사용해 기울기 항을 정의하고, δ(t)˙λ(t)를 통해 이중 변수 갱신을 지연시킨다.
• 에너지 감쇠 및 시스템 궤적의 수렴 성질을 분석하기 위해 리아프노프 함수 접근법을 적용한다.
• 특히 γ(t) = α/tʳ (r ∈ (−1,1))에 대해 감쇠 함수의 다양한 선택 조건 하에서 리아프노프 함수의 감쇠를 분석함으로써 수렴 속도를 도출한다.
• 외부 노이즈 ε(t)가 존재하는 시스템의 교란된 형태를 고려하고, ε(t)에 대한 적분 가능성 조건 하에서 수렴 속도가 유지됨을 증명한다.
• 미분 부등식과 적분 경계에 관한 보조 정리들을 사용하여 시스템 궤적의 유계성과 감쇠 추정치를 확립한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 감쇠를 갖는 이阶성 원시-이중 역동 시스템에서 이중성 간격과 제약 위반의 수렴 속도는 무엇인가?
• RQ2 감쇠 계수 γ(t)의 다양한 함수 형태가 시스템의 수렴 속도에 어떻게 영향을 주는가?
• RQ3 소규모 외부 교란이 존재할 경우 제안된 시스템의 수렴 속도가 유지되는가?
• RQ4 관성 항(두 번째 도함수)은 표준 원시-이중 방법에 비해 수렴을 어떻게 가속화하는가?
• RQ5 시간 t → ∞일 때 시스템은 어떻게 행동하는가? 그리고 전역 존재성과 유일성 보장 조건은 무엇인가?

주요 결과

• γ(t) = α/tʳ (r ∈ (−1,0])일 경우, 이중성 간격 L(x(t),y(t),λ*) − L(x*,y*,λ*)는 O(t⁻⁽ʳ⁺¹⁾) 속도로 감소하고, 제약 위반 ‖Ax(t)+By(t)−b‖는 O(t⁻⁽ʳ⁺¹⁾ᐟ²) 속도로 감소한다.
• γ(t) = α/tʳ (r ∈ [0,1))일 경우, 이중성 간격은 O(t⁻²ʳ) 속도로 감소하고, 제약 위반은 O(t⁻ʳ) 속도로 감소하여 더 큰 r 값일수록 더 빠른 수렴을 보인다.
• 기본 및 이중 속도의 총 변동량은 ∫ₜ₀^∞ tʳ(‖ẋ(t)‖² + ‖ẏ(t)‖² + ‖λ̇(t)‖²)dt < ∞를 만족하며, 이는 속도의 渐近 소멸을 의미한다.
• 교란이 존재하더라도 시스템은 강건하다: ∫ₜ₀^∞ tʳ‖ε(t)‖dt < ∞이면 r ∈ [0,1)에 대해 동일한 수렴 속도가 유지되고, ∫ₜ₀^∞ t⁽ʳ⁺¹⁾ᐟ²‖ε(t)‖dt < ∞이면 r ∈ (−1,0]에 대해 강건성이 보장된다.
• 주어진 감쇠 및 교란 조건 하에서 t₀ ≥ 1일 때 전역 존재성과 유일성이 확립된다.
• Zeng 등 [39]의 이전 연구를 일반화하고 개선하며, 볼록 최적화를 위한 네스테로프 가속 경량화 방법의 연속 시간 해석을 분리 가능한 볼록 문제에 대한 원시-이중 설정으로 확장한다.