[논문 리뷰] Complexity certifications of first order inexact Lagrangian and penalty methods for conic convex programming

Ion Necoara, Andrei Pătraşcu외 1명|arXiv (Cornell University)|2015. 06. 17.

Optimization and Variational Analysis인용 수 8

한 줄 요약

이 논문은 콘-제약을 가진 볼록 프로그래밍을 위한 1차 미분가능하지 않은 라그랑주 및 페널티 방법을 분석하며, 최적 라그랑주 승수의 유계 및 무한대일 경우에 대한 복잡도 증명을 도출한다. 이는 1차 미분가능하지 않은 경사하강법에 보완 라그랑주 스무딩을 적용할 경우 ε-최적 해를 구하기 위해 O(1/ε)회의 투영이 필요하며, 네스테로프 유형의 스무딩 또는 페널티 방법의 경우 O(1/ε^{3/2})회의 투영이 필요하다는 것을 보여준다.

ABSTRACT

In this paper we analyze first order Lagrangian and penalty methods for general cone constrained convex programming with bounded or unbounded optimal Lagrange multipliers. In the first part of our paper we assume bounded optimal Lagrange multipliers and we study primal-dual first order methods based on inexact information and smoothing techniques (augmented Lagrangian smoothing and Nesterov type smoothing). For inexact (fast) gradient augmented Lagrangian methods we derive overall computational complexity $\mathcal{O}\left( \frac{1}{\epsilon} ight)$ projections onto a simple primal set in order to attain an $\epsilon-$optimal solution of the conic convex problem. On the other hand, the inexact fast gradient method combined with Nesterov type smoothing technique requires $\mathcal{O}\left( \frac{1}{\epsilon^{3/2}} ight)$ projections onto the same set to attain an $\epsilon-$optimal solution of the original problem. In the second part of the paper, we assume possibly unbounded optimal Lagrange multipliers, and combine the fast gradient method with penalty strategies for solving the conic constrained optimization problem. We prove that, in this scenario, the penalty methods also require $\mathcal{O}\left( \frac{1}{\epsilon^{3/2}} ight)$ projections onto a simple primal set to attain an $\epsilon-$optimal solution for the original problem.

연구 동기 및 목표

• 콘-제약을 가진 볼록 최적화 문제에 대한 1차 미분가능하지 않은 라그랑주 및 페널티 방법의 계산 복잡도를 분석하는 것.
• 스무딩 기법을 사용한 미분가능하지 않은 경사하강법을 통해 최적 라그랑주 승수가 유계일 경우의 복잡도 한계를 설정하는 것.
• 최적 라그랑주 승수가 무한대일 수 있는 경우에도 복잡도 분석을 확장하는 것.
• 투영 복잡도 측면에서 보완 라그랑주 스무딩과 네스테로프 유형의 스무딩 간의 효율성을 비교하는 것.
• 최적 라그랑주 승수가 무한대일 경우 페널티 기반 방법에 대한 복잡도 증명을 도출하는 것.

제안 방법

• 콘-제약을 가진 볼록 문제를 해결하기 위해 미분가능하지 않은 경사하강법과 보완 라그랑주 스무딩을 조합한다.
• 유계 승수의 존재 조건에서 수렴 속도를 향상시키기 위해 네스테로프 유형의 스무딩 기법을 적용한다.
• 간단한 원천 집합 위의 투영 횟수에 기반한 복잡도 한계를 유도한다.
• 빠른 경사하강법과 페널티 전략을 조합하여 최적 라그랑주 승수가 무한대일 경우를 다룬다.
• 부문 문제의 해에서의 부정확성과 전체 수렴 복잡도 간의 상호작용을 분석한다.
• 다양한 스무딩 및 페널티 전략에 대해 O(1/ε) 및 O(1/ε^{3/2}) 투영 수에 기반한 복잡도 증명을 수립한다.

실험 결과

연구 질문

• RQ1 최적 라그랑주 승수가 유계일 경우, 보완 라그랑주 스무딩을 사용한 미분가능하지 않은 경사하강법의 콘-제약 볼록 프로그램에 대한 계산 복잡도는 무엇인가?
• RQ2 유계 승수 조건에서 네스테로프 유형의 스무딩은 1차 라그랑주 방법의 투영 복잡도에 어떤 영향을 미치는가?
• RQ3 최적 라그랑주 승수가 무한대일 경우 적용 가능한 복잡도 한계는 무엇인가?
• RQ4 최적 라그랑주 승수가 무한대일 경우, 페널티 방법은 라그랑주 방법에 비해 복잡도 측면에서 어떻게 비교되는가?
• RQ5 부문 문제의 해에서의 부정확성은 유리한 수렴 속도를 유지하면서 제어될 수 있는가?

주요 결과

• 최적 라그랑주 승수가 유계일 경우, 보완 라그랑주 스무딩을 사용한 미분가능하지 않은 경사하강법은 ε-최적 해를 달성하기 위해 O(1/ε)회의 투영이 필요하다.
• 유계 승수 조건에서 네스테로프 유형의 스무딩을 사용할 경우, ε-최적 해를 달성하기 위해 O(1/ε^{3/2})회의 투영이 필요하다.
• 최적 라그랑주 승수가 무한대일 경우, 페널티 방법 역시 ε-최적 해를 달성하기 위해 O(1/ε^{3/2})회의 투영이 필요하다.
• O(1/ε^{3/2})의 복잡도는 빠른 경사하강법과 스무딩 또는 페널티 기법의 조합에서 기인한다.
• 부정확한 부문 문제 해를 가정하더라도 결과가 유지되어 하위 알고리즘의 근사 오차에 대해 강건함을 입증한다.
• 일반적인 콘 제약 조건을 가진 콘-볼록 프로그래밍에서 1차 방법의 복잡도 증명이 엄밀하게 도출된다.