[논문 리뷰] Proportional-Integral Projected Gradient Method for Conic Optimization

Yue Yu, Purnanand Elango외 2명|arXiv (Cornell University)|2021. 08. 23.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 콘형 최적화를 위한 새로운 원자-이중 제1차 알고리즘인 비례-적분 투영 경사도(PIPG) 방법을 제안한다. 이 방법은 원자-이중 간격과 제약 위반 모두에 대해 O(1/k) 수렴 속도를 달성하며, 강한 볼록성 하에서는 각각 O(1/k²)와 O(1/k³)의 수렴 속도를 확보한다. 기존의 제1차 방법들에 비해 이차 정보를 요구하지 않으면서도 제약 위반 수렴 속도를 가속화함으로써 향상된다.

ABSTRACT

Conic optimization is the minimization of a differentiable convex objective function subject to conic constraints. We propose a novel primal-dual first-order method for conic optimization, named proportional-integral projected gradient method (PIPG). PIPG ensures that both the primal-dual gap and the constraint violation converge to zero at the rate of \(O(1/k)\), where \(k\) is the number of iterations. If the objective function is strongly convex, PIPG improves the convergence rate of the primal-dual gap to \(O(1/k^2)\). Further, unlike any existing first-order methods, PIPG also improves the convergence rate of the constraint violation to \(O(1/k^3)\). We demonstrate the application of PIPG in constrained optimal control problems.

연구 동기 및 목표

• 원자-이중 간격과 제약 위반이 향상된 속도로 동시에 0으로 수렴하는 제1차 최적화 방법을 개발하는 것.
• 기존의 제1차 방법들이 강한 볼록성 하에서도 제약 위반 수렴 속도를 가속화하지 못하는 한계를 해결하는 것.
• 낮은 반복 복잡도를 유지하면서도 타당성과 최적성 모두에서 더 빠른 수렴을 달성하는 방법을 설계하는 것.
• 수치적 검증을 통해 제약이 많은 최적 제어 문제에 대한 방법의 효과성을 입증하는 것.

제안 방법

• PIPG는 제어 이론에서 영감을 얻어 이중 업데이트에 비례 및 적분 피드백 항을 포함한 투영 경사도 프레임워크를 사용한다. 이는 수렴의 안정성과 가속화를 도모한다.
• 알고리즘은 각 반복마다 원자 집합 D에 대한 하나, 이중 콘 K 또는 그 폴라르 K°에 대한 하나의 투영을 수행하여 계산 비용을 낮춘다.
• 이중 변수 업데이트에 과거의 제약 위반을 누적하는 동적 교정 항을 통합하여 제약 위반의 더 빠른 수렴을 가능하게 한다.
• 이 방법은 콘형 최적화 문제의 사다리꼴 재구성에서 유도되며, 원래 문제와 동치임을 보장한다.
• 수렴 분석은 리아푸노프 함수와 에너지 감소 추론을 사용하여 제시된 수렴 속도를 입증한다.
• 알고리즘은 최적 제어 문제를 두 번째 순서 콘과 변형된 두 번째 순서 콘 제약 조건을 가진 콘 프로그램으로 재구성함으로써 변환된 문제에 적용된다.

실험 결과

연구 질문

• RQ1 콘형 최적화에서 제약 위반 수렴 속도를 O(1/k)를 초월해 가속화할 수 있는 제1차 방법을 설계할 수 있는가?
• RQ2 이중 업데이트에 적분 동작을 통합하면 반복 복잡도를 증가시키지 않고도 수렴을 향상시킬 수 있는가?
• RQ3 강한 볼록성 하에서 원자-이중 간격에 대해 O(1/k²) 수렴, 제약 위반에 대해 O(1/k³) 수렴을 달성할 수 있는가?
• RQ4 ADMM, PIPGeq, PDHG와 비교할 때 PIPG는 수렴 속도와 타당성 측면에서 어떻게 성능을 내는가?
• RQ5 복잡한 제약 조건을 가진 실제 최적 제어 문제에 대해 PIPG는 효과적으로 적용될 수 있는가?

주요 결과

• 일반 볼록 케이스에서 PIPG는 원자-이중 간격과 제약 위반 모두에 대해 O(1/k) 수렴 속도를 달성하며, ADMM와 PIPGeq의 최고 수준의 기존 속도를 유지한다.
• 강한 볼록성 하에서는 PIPG가 원자-이중 간격 수렴 속도를 O(1/k²)로 향상시켜 PDHG의 가속화 속도를 따라간다.
• 핵심적으로, PIPG는 강한 볼록성 하에서 제약 위반에 대해 O(1/k³) 수렴 속도를 달성하며, 이는 기존의 어떤 제1차 방법보다도 더 빠르다.
• 단일 D 투영과 K 또는 K°에 대한 하나의 투영만으로 반복 비용을 낮추어 확장 가능성을 확보한다.
• 진동하는 질량과 큼직로터 경로 계획 문제에 대한 수치 실험을 통해 PIPG의 뛰어난 수렴 행동과 타당성 성능을 입증했다.
• 리프팅과 콘 제약 조건을 통한 최적 제어 문제의 콘 프로그램으로의 변환은 문제의 구조를 유지하며 PIPG를 통한 효율적인 해법을 가능하게 한다.