[논문 리뷰] Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity

Tianyi Lin, Shiqian Ma외 1명|arXiv (Cornell University)|2015. 04. 13.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 11

한 줄 요약

이 논문은 강한 볼록성 없이도 다중 블록 ADMM의 반복 복잡도 한계를 설정한다. 편향된 문제를 통한 O(1/ε²) 반복 복잡도와 Kurdyka-Łojasiewicz 성질 하에서의 O(1/ε) 반복 복잡도를 증명함으로써, 강한 볼록성 설정을 초월한 수렴 보장을 확장한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems due to its superior practical performance. On the theoretical side however, a counterexample was shown in [7] indicating that the multi-block ADMM for minimizing the sum of $N$ $(N\geq 3)$ convex functions with $N$ block variables linked by linear constraints may diverge. It is therefore of great interest to investigate further sufficient conditions on the input side which can guarantee convergence for the multi-block ADMM. The existing results typically require the strong convexity on parts of the objective. In this paper, we present convergence and convergence rate results for the multi-block ADMM applied to solve certain $N$-block $(N\geq 3)$ convex minimization problems without requiring strong convexity. Specifically, we prove the following two results: (1) the multi-block ADMM returns an $ε$-optimal solution within $O(1/ε^2)$ iterations by solving an associated perturbation to the original problem; (2) the multi-block ADMM returns an $ε$-optimal solution within $O(1/ε)$ iterations when it is applied to solve a certain sharing problem, under the condition that the augmented Lagrangian function satisfies the Kurdyka-Lojasiewicz property, which essentially covers most convex optimization models except for some pathological cases.

연구 동기 및 목표

• 강한 볼록성이 없는 비강한 볼록 문제에서 다중 블록 ADMM의 수렴 보장 부족 문제를 해결하기 위해.
• 다중 블록 ADMM의 실용적 성공과 이론적 이해 간 격차를 메우기 위해.
• 목적 함수의 강한 볼록성이 요구되지 않는 다중 블록 ADMM의 반복 복잡도 한계를 유도하기 위해.
• 강한 볼록성 없이도 다수의 볼록 모델에 대해 Kurdyka-Łojasiewicz 성질 하에서 수렴을 확립하기 위해.

제안 방법

• 벌점 매개수 γ를 사용한 보완 라그랑주 프레임워크를 통해 다중 블록 ADMM를 분석한다.
• ε-최적해를 위한 O(1/ε²) 반복 복잡도를 도출하기 위해 편향 기법을 도입한다.
• Kurdyka-Łojasiewicz 성질을 적용하여 온건한 조건 하에서 O(1/ε) 반복 복잡도를 확립한다.
• 수렴 속도를 유한하게 하기 위해 유기적 반복 평균화와 이중성 갭 분석을 사용한다.
• 수렴 행동을 분석하기 위해 변분부등식과 리아푸노프 함수 기법을 활용한다.
• 초기 반복값과 문제 매개수를 이용해 이중성 갭과 제약 위반에 대한 bound를 도출한다.

실험 결과

연구 질문

• RQ1 강한 볼록성이 없이도 다중 블록 ADMM가 O(1/ε²) 반복 복잡도를 달성할 수 있는가?
• RQ2 Kurdyka-Łojasiewicz 성질이 다중 블록 ADMM의 O(1/ε) 수렴을 가능하게 하는가?
• RQ3 강한 볼록성이 없을 때 다중 블록 ADMM의 수렴을 보장하는 조건은 무엇인가?
• RQ4 편향 접근법이 다중 블록 ADMM의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 Kurdyka-Łojasiewicz 조건 하에서 수렴 속도를 향상시킬 수 있는가?

주요 결과

• 다중 블록 ADMM는 원래 문제의 편향된 버전을 풀 때 O(1/ε²) 반복 이내에 ε-최적해를 반환한다.
• Kurdyka-Łojasiewicz 성질 하에서 다중 블록 ADMM는 ε-최적해를 위한 O(1/ε) 반복 복잡도를 달성한다.
• t = O(1/ε)일 때 이중성 갭과 제약 위반 모두 O(ε)로 유한하게 제한된다.
• 목적 함수의 강한 볼록성이 필요 없이도 수렴 속도가 확립된다.
• 분석은 대부분의 표준 볼록 최적화 모델을 포함하며, 병리적 경우를 제외한다.
• 결과로 인해 강한 볼록성 조건을 초월한 더 넓은 문제 클래스에 대한 이론적 보장이 확장된다.