[논문 리뷰] An Accelerated Linearized Alternating Direction Method of Multipliers

Yuyuan Ouyang, Yunmei Chen외 2명|arXiv (Cornell University)|2014. 01. 26.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 선형 제약 조건을 가진 볼록 복합 최적화 문제의 수렴 속도를 향상시키기 위해 다중 단계 모멘타임을 선형화된 ADMM 알고리즘에 통합한 가속화된 선형화된 ADMM(AADMM)를 제안한다. 이 방법은 표준 선형화된 ADMM에 비해 부드러운 성분의 리프시츠 상수에 대해 더 우수한 의존성을 보이며, 사안점이 존재할 경우 유계 및 비유계 탇행 집합 모두를 다룰 수 있다. 실험 결과는 BOSVS와 같은 기존 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

We present a novel framework, namely AADMM, for acceleration of linearized alternating direction method of multipliers (ADMM). The basic idea of AADMM is to incorporate a multi-step acceleration scheme into linearized ADMM. We demonstrate that for solving a class of convex composite optimization with linear constraints, the rate of convergence of AADMM is better than that of linearized ADMM, in terms of their dependence on the Lipschitz constant of the smooth component. Moreover, AADMM is capable to deal with the situation when the feasible region is unbounded, as long as the corresponding saddle point problem has a solution. A backtracking algorithm is also proposed for practical performance.

연구 동기 및 목표

• 선형 제약 조건을 가진 볼록 복합 최적화 문제를 해결하기 위한 더 빠른 1차 방법을 개발하는 것.
• 다중 단계 가속 기법을 통합하여 선형화된 ADMM의 수렴 속도를 향상시키는 것.
• 사안점이 존재할 경우 비유계 타당 집합으로의 선형화된 ADMM의 적용 범위를 확장하는 것.
• 알고리즘 성능을 향상시키기 위해 실용적인 백트래킹 선색 전략을 설계하는 것.
• 이미지 복원 문제에 대한 수치 실험을 통해 이론적 개선 사항을 검증하는 것.

제안 방법

• 선형화된 ADMM와 다중 단계 가속 기법을 결합한 새로운 프레임워크인 AADMM를 제안하여 수렴 속도를 향상시키는 것.
• Nesterov 유형의 가속에 영감을 받은 과거 반복값을 활용하는 모멘타임 기반 업데이트 전략을 사용하는 것.
• 리프시츠 상수의 사전 지식이 필요 없이도 실용적 성능을 향상시키기 위해 적응적으로 스텝 사이즈를 선택하는 백트래킹 선색 알고리즘을 도입하는 것.
• 애핀 등식 제약 조건이 있는 복합 최적화(AECCO) 문제를 사안점 문제로 재구성하여 적용하는 것.
• 비부드러운 성분에 대해 프록시미티 유사 업데이트를, 부드러운 성분에 대해 기울기 기반 업데이트를 사용하여 계산 효율성을 확보하는 것.
• 이론적 분석을 통해 부드러운 성분의 리프시츠 상수에 유리하게 의존하는 수렴 속도를 확립하며, 표준 선형화된 ADMM를 능가하는 성능을 보인다.

실험 결과

연구 질문

• RQ1 다중 단계 가속이 선형화된 ADMM에 효과적으로 통합되어 수렴 속도를 향상시킬 수 있는가?
• RQ2 사안점이 존재할 경우 비유계 타당 집합에서도 제안된 AADMM 프레임워크가 수렴성을 유지하는가?
• RQ3 실제 이미지 복원 작업에서 AADMM의 성능은 BOSVS 및 표준 선형화된 ADMM와 비교해 어떻게 되는가?
• RQ4 백트래킹 선색 전략이 실제 응용에서 AADMM의 강건성과 효율성을 향상시킬 수 있는가?
• RQ5 AADMM의 수렴 속도가 부드러운 성분의 리프시츠 상수에 대해 이론적으로 어떻게 의존하는가?

주요 결과

• AADMM는 선형화된 ADMM보다 더 빠른 수렴 속도를 달성하며, 부드러운 성분의 리프시츠 상수에 대해 더 유리한 의존성을 보인다.
• 사안점이 존재할 경우, 타당 집합이 유계이든 비유계이든 간에 이 방법은 효과적이다.
• 이미지 복원 실험에서 백트래킹을 적용한 AADMM는 지표값과 참값에 대한 상대 오차를 모두 BOSVS보다 낮추는 데 성공했다.
• 카르테시언 k-space 샘플링 조건에서 성능 향상이 가장 두드러지며, 이는 저주파수 데이터 수집이 제한되어 더 도전적인 상황이기 때문이다.
• 수치 결과는 AADMM가 BOSVS보다 더 빠르게 수렴하고, 더 낮은 목적 함수 값과 복원 오차를 달성함을 확인했으며, 특히 어려운 샘플링 환경에서 두드러진 성능 향상을 보였다.
• 백트래킹 선색 전략은 실용적 성능을 크게 향상시켜 AADMM가 다양한 문제 사례와 파rameter 설정에서 강건함을 확보했다.