[논문 리뷰] A Proof of Convergence For the Alternating Direction Method of Multipliers Applied to Polyhedral-Constrained Functions

João F. C. Mota, João Xavier외 2명|arXiv (Cornell University)|2011. 12. 10.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 44

한 줄 요약

이 논문은 다각형 제약 조건을 가진 볼록 최적화 문제에 적용된 증분 방향 승수 방법(ADMM)에 대한 일반적인 수렴 증명을 제공한다. 목적 함수가 볼록이고 제약 집합이 다각형일 때, 제약 행렬의 최대 질량 조건을 만족하는 조건 하에서 ADMM이 원시-이중 최적 해로 수렴함을 입증한다.

ABSTRACT

We give a general proof of convergence for the Alternating Direction Method of Multipliers (ADMM). ADMM is an optimization algorithm that has recently become very popular due to its capabilities to solve large-scale and/or distributed problems. We prove that the sequence generated by ADMM converges to an optimal primal-dual optimal solution. We assume the functions f and g, defining the cost f(x) + g(y), are real-valued, but constrained to lie on polyhedral sets X and Y. Our proof is an extension of the proofs from [Bertsekas97, Boyd11].

연구 동기 및 목표

• 다각형 제약 조건이 있는 최적화 문제의 맥락에서 ADMM에 대한 일반적인 수렴 증명을 확립하기 위해.
• 이전 연구에서 B가 항등행렬인 경우에만 적용 가능한 기존 수렴 결과를 넘어, 제약 행렬 B에 대한 가정을 완화함으로써 이를 확장하기 위해.
• A와 B에 대해 최대 질량 조건을 만족할 때, ADMM이 생성하는 수열이 유일한 원시-이중 최적 해로 수렴함을 증명하기 위해.
• 최대 질량 조건을 포함하고 한계점의 유일성을 증명함으로써 ADMM 수렴 이론적 갭을 메우기 위해.
• 대규모 및 분산 최적화에서 ADMM의 사용을 철저히 기반화하기 위해 현실적인 제약 조건 하에서 수렴이 보장됨을 검증함으로써 엄밀한 기초를 제공하기 위해.

제안 방법

• 벌점 매개수 ρ를 가진 증강 라그랑주 함수를 사용하여 ADMM 하위문제를 수립한다.
• 교대 최소화 전략을 적용한다: 먼저 고정된 y와 λ에 대해 x에 대해 최소화하고, 그 다음 고정된 x와 λ에 대해 y에 대해 최소화하며, 마지막으로 그래디언트 상승을 통해 λ를 갱신한다.
• 닫힌 볼록 집합 위에서 볼록 함수의 최적성 조건을 활용하여, 볼록 함수의 합을 최소화하는 것과 그 해에서의 선형 근사 최소화 사이의 등가성을 이용한다.
• 진전을 추적하기 위해 리아푸노프 유사 함수 V^k을 도입하며, 원시 잔여항과 이중 잔여항을 결합하여 이것이 감소하지 않고 아래로 유계임을 보인다.
• 강한 이중성과 유계성 추론을 활용하여, 반복의 모든 한계점이 원시-이중 최적임을 증명한다.
• 리아푸노프 함수가 0으로 수렴함을 보여 수열 전체 (x^k, y^k, λ^k)의 수렴을 확립한다, 이는 모든 성분의 수렴을 의미한다.

실험 결과

연구 질문

• RQ1 제약 조건이 다각형일 때, ADMM이 원시-이중 최적 해로 수렴하는 조건은 무엇인가?
• RQ2 B가 항등행렬인 경우를 초월하여 ADMM의 수렴 증명을 확장할 수 있는가?
• RQ3 A와 B에 대해 최대 질량 조건을 만족할 때, ADMM이 생성하는 수열이 유일한 한계점으로 수렴하는가?
• RQ4 원시 및 이중 비가역성의 진전을 추적하는 리아푸노프 함수를 사용하여 ADMM의 수렴을 어떻게 증명할 수 있는가?
• RQ5 강한 이중성은 다각형 제약 조건이 있는 ADMM의 수렴 확립에 어떤 역할을 하는가?

주요 결과

• ADMM가 생성하는 수열 {(x^k, y^k, λ^k)}은 유일한 한계점으로 수렴하며, 이는 문제의 원시-이중 최적 해이다.
• 목적 함수 값 f(x^k) + g(y^k)는 k → ∞ 일 때 최적 값 p^*로 수렴한다.
• 이중 변수 수열 {λ^k}은 유일한 한계점 λ^*로 수렴하며, 이는 식 (3)의 이중 문제를 해결한다.
• A와 B에 대한 최대 질량 조건 덕분에 원시 변수 x^k와 y^k는 각각 최적 값 x^*와 y^*로 수렴한다.
• f와 g가 볼록이고, X와 Y가 다각형이며, A와 B가 최대 질량을 가진다는 가정 하에서 수렴이 보장된다.
• 증명 과정에서 리아푸노프 함수 V^k가 단조 감소하며 0으로 수렴함을 입증함으로써, 모든 반복의 수렴이 보장된다.