[논문 리뷰] A General Analysis of the Convergence of ADMM

Robert Nishihara, Laurent Lessard외 3명|arXiv (Cornell University)|2015. 02. 06.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 148

한 줄 요약

이 논문은 선형 수렴를 분석하기 위한 일반적인 프레임워크를 제시하며, 반복적 다중 승수 방법(ADMM)의 수렴 속도 분석과 매개수 선택을 자동화하기 위해 준선형계획법을 사용한다. 이 프레임워크는 알고리즘 매개수에 대한 제한 없는 가정 없이 과잉 조정된 ADMM의 수렴 속도에 대한 날카운 상한 및 하한을 설정하며, 유도된 경계의 수치 최적화를 통한 실용적인 튜닝 가이드라인을 제공한다.

ABSTRACT

We provide a new proof of the linear convergence of the alternating direction method of multipliers (ADMM) when one of the objective terms is strongly convex. Our proof is based on a framework for analyzing optimization algorithms introduced in Lessard et al. (2014), reducing algorithm convergence to verifying the stability of a dynamical system. This approach generalizes a number of existing results and obviates any assumptions about specific choices of algorithm parameters. On a numerical example, we demonstrate that minimizing the derived bound on the convergence rate provides a practical approach to selecting algorithm parameters for particular ADMM instances. We complement our upper bound by constructing a nearly-matching lower bound on the worst-case rate of convergence.

연구 동기 및 목표

• ADMM 변형의 선형 수렴 속도를 증명하기 위한 통합적이고 매개수에 영향을 받지 않는 프레임워크를 개발하는 것.
• 유도된 수렴 속도 경계를 최소화하여 알고리즘 매개수(ρ 및 α)의 체계적인 선택을 가능하게 하는 것.
• 과잉 조정된 ADMM에 대한 최악의 경우 수렴 속도에 대한 날카운 상한 및 하한을 설정하는 것.
• 단계 크기 및 조정 매개수에 대한 가정을 제거함으로써 이전의 수렴 증명을 일반화하는 것.
• 분산 최소 제곱 문제에 대한 수치 실험을 통해 프레임워크의 실용적 유용성을 입증하는 것.

제안 방법

• 수렴 분석을 복소수 시간 선형 동적 시스템의 안정성 검증 문제로 재구성하며, 강건 제어 이론에서 유래한 적분 제약 조건(IQC) 프레임워크를 사용한다.
• 안정성 조건을 검증하기 위해 준선형계획형식(SDP)을 설정하며, 이는 선형 수렴 속도의 상한을 제공한다.
• ρ 및 α의 다양한 값에 대해 SDP를 수치적으로 해결하여 매개수 선택에 따른 수렴 속도 경계를 계산한다.
• 과잉 조정된 ADMM에 프레임워크를 적용하기 위해 조정 매개수 α를 도입하여 표준 ADMM을 일반화한다.
• 상한의 날카움을 검증하기 위해 최악의 경우 수렴 속도에 대한 거의 매칭되는 하한을 구성한다.
• 계산된 수렴 속도 경계를 최소화함으로써 매개수 선택을 유도하며, 이는 실질적으로 효과적인 매개수 선택을 예측할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 ADMM 변형의 선형 수렴를 분석하기 위한 일반적이고 매개수에 영향을 받지 않는 프레임워크를 개발할 수 있는가?
• RQ2 ρ 또는 α의 특정 값에 대한 가정 없이 과잉 조정된 ADMM의 수렴 속도를 어떻게 경계할 수 있는가?
• RQ3 유도된 수렴 속도 경계를 통해 ADMM 인스턴스의 실용적 매개수 선택을 유도할 수 있는가?
• RQ4 과잉 조정된 ADMM에 대한 최악의 경우 수렴 속도에 대한 상한 및 하한은 얼마나 날카운가?
• RQ5 유도된 수렴 속도 경계를 최소화하면 수치 실험에서 효과적인 매개수 선택으로 이어지는가?

주요 결과

• 제안된 프레임워크는 각 알고리즘 변형에 대해 새로운 증명이 필요 없이 4×4 준선형계획형식의 수치적 해법을 통해 ADMM 변형의 수렴 속도 분석을 가능하게 한다.
• 수렴 속도 상한이 ρ 및 α에 대해 최소화되며, 그 결과로 도출된 매개수 설정은 수치 실험에서 거의 최적의 성능를 보였다.
• N=5인 분산 최소 제곱 문제에서 경계 최소화를 통해 도출된 최적의 매개수는 α=2.0 및 ρ=1.7였으며, 시뮬레이션에서 가장 우수한 성능를 보인 매개수 설정과 거의 일치했다.
• 수치 실험에서 반복 횟수 성능를 통해 α의 작은 값이 ρ의 열악한 선택에 더 강건함을 확인하였다.
• 상한이 최악의 경우 속도에 대해 거의 날카로움을 확인하기 위해 하한을 구성함으로써 상한의 날카움을 검증하였다.
• 이 프레임워크는 Douglas–Rachford 및 전진-뒤로 스텝 분할과 같은 다른 연산자 분할 방법으로도 확장 가능하며, 광범위한 적용 가능성을 시사한다.