[논문 리뷰] On the Linear Convergence of the Alternating Direction Method of Multipliers

Mingyi Hong, Zhi‐Quan Luo|arXiv (Cornell University)|2012. 08. 20.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 153

한 줄 요약

이 논문은 강한 볼록성 조건이 없더라도, 임의의 수의 볼록 분리 가능 함수의 합을 최소화하기 위해 양면 방법 다중 승수(ADMM)의 전역 선형 수렴성을 확립한다. 분석은 오차 한계와 프록시멀 잔차에 기반하며, 이는 충분히 작은 이중 스텝 사이즈 조건 하에서 선형 수렴을 증명한다. 이는 다중 블록 및 비강한 볼록 문제에 대한 오랫동안 미해결이었던 열린 질문을 해결한다.

ABSTRACT

We analyze the convergence rate of the alternating direction method of multipliers (ADMM) for minimizing the sum of two or more nonsmooth convex separable functions subject to linear constraints. Previous analysis of the ADMM typically assumes that the objective function is the sum of only two convex functions defined on two separable blocks of variables even though the algorithm works well in numerical experiments for three or more blocks. Moreover, there has been no rate of convergence analysis for the ADMM without strong convexity in the objective function. In this paper we establish the global linear convergence of the ADMM for minimizing the sum of any number of convex separable functions. This result settles a key question regarding the convergence of the ADMM when the number of blocks is more than two or if the strong convexity is absent. It also implies the linear convergence of the ADMM for several contemporary applications including LASSO, Group LASSO and Sparse Group LASSO without any strong convexity assumption. Our proof is based on estimating the distance from a dual feasible solution to the optimal dual solution set by the norm of a certain proximal residual, and by requiring the dual stepsize to be sufficiently small.

연구 동기 및 목표

• ADMM가 두 개 이상의 블록을 가진 문제나 강한 볼록성이 없는 문제에 적용되었을 때 선형 수렴하는지 여부라는 열린 질문을 해결하기 위해.
• 기존의 두 블록 설정에서만 알려진 ADMM의 수렴 분석을 더 이상 제한 없이 확장하기 위해.
• 강한 볼록성 가정 없이 LASSO, 그룹 LASSO, 스파arsity 그룹 LASSO 등의 응용에서 ADMM의 경험적 성공에 대한 이론적 기반을 제공하기 위해.
• 강한 볼록성과 무관하게 오차 한계 기법과 프록시멀 잔차 추정을 통해 선형 수렴을 확립하기 위해.
• 다양한 분리 가능한 블록을 가진 다수의 구조적 볼록 최적화 문제에 대해 수렴 보장을 일반화하기 위해.

제안 방법

• 저자들은 증명을 위해 보조 함수의 강한 볼록성에 기반한 증명 기법을 사용하며, 이는 원래 문제에 강한 볼록성이 없더라도 유효하다.
• 그들은 프록시멀 잔차의 노름을 이용해 이중 타당해의 최적 이중 해 집합으로부터의 거리를 추정한다.
• 새로운 오차 한계 조건을 도입하여, 원본의 비타당성과 이중의 비타당성을 프록시멀 잔차의 노름과 연결한다.
• 핵심 기법은 보조 함수의 강한 볼록성에 기반한 증명 기법을 사용하여, 원래 문제에 강한 볼록성이 없더라도 수렴 분석이 가능하다는 점을 보여준다.
• 주요 기술적 단계로는 이중 반복값과 최적 이중 해 사이의 차이를 이중 함수의 기울기와 잔차 벡터를 이용해 유계로 제한하는 것이다.
• 분석은 이중 스텝 사이즈가 충분히 작아야 선형 수렴이 보장되며, 이는 최적 해 집합으로부터의 거리에 대한 이차 상한을 통해 유도된다.
• 이 방법은 메리트 함수와 사상 M을 사용하여 원본-이중 반복값과 최적 해 집합 간의 관계를 특성화한다.

실험 결과

연구 질문

• RQ1 ADMM가 두 개 이상의 변수 블록을 가진 문제에 적용되었을 때 선형 수렴하는가?
• RQ2 목적 함수에 강한 볼록성을 가정하지 않고도 ADMM의 선형 수렴을 확립할 수 있는가?
• RQ3 다중 블록 및 비강한 볼록 설정에서 ADMM의 선형 수렴을 보장하기 위해 이중 스텝 사이즈에 어떤 조건이 필요한가?
• RQ4 강한 볼록성이 없을 경우, 프록시멀 잔차를 사용해 최적 해 집합으로부터의 거리를 어떻게 유계로 제한할 수 있는가?
• RQ5 오차 한계 기법을 적용하여 일반 볼록 분리 가능 문제에 대해 ADMM의 전역 선형 수렴을 유도할 수 있는가?

주요 결과

• ADMM는 강한 볼록성이 없더라도, 임의의 수의 볼록 분리 가능 함수의 합을 최소화할 때 전역적으로 선형 수렴한다.
• 이중 스텝 사이즈가 충분히 작을 조건 하에서 선형 수렴이 보장되며, 이는 오차 한계가 유지됨을 의미한다.
• 수렴 속도는 문제 매개변수(예: 리프시츠 상수 및 보조 함수의 강한 볼록성 매개변수)에 따라 결정되는 상수 τ를 통해 정량화된다.
• 이 결과는 LASSO, 그룹 LASSO, 스파arsity 그룹 LASSO 등에 대해 강한 볼록성 조건 없이도 선형 수렴이 성립함을 시사한다.
• 분석은 ADMM이 다중 블록 및 비강한 볼록 문제에서 경험적으로 성공한 데 대한 이론적 근거를 제공한다.
• 프록시멀 잔차와 오차 한계를 사용한 증명 기법은 강한 볼록성과 무관하게 다양한 구조적 볼록 최적화 문제에 일반적으로 적용 가능한 프레임워크를 제공한다.