[논문 리뷰] Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems

Mingyi Hong, Zhi‐Quan Luo외 1명|arXiv (Cornell University)|2014. 10. 06.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 19

한 줄 요약

이 논문은 반복값에 대한 가정 없이도 수렴을 보장하는 충분히 큰 페널티 파라미터를 통해, 공통화 및 공유 문제를 포함한 비볼록 최적화 문제의 일군에 대해 ADMM(교차 방향 승수 방법)의 전역 수렴을 정립한다. 분석은 보조 라그랑주 함수를 리아푸노프 유사 잠재 함수로 사용하여, 볼록 설정을 초월한 ADMM 수렴 보장을 확장한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used to solve large-scale linearly constrained optimization problems, convex or nonconvex, in many engineering fields. However there is a general lack of theoretical understanding of the algorithm when the objective function is nonconvex. In this paper we analyze the convergence of the ADMM for solving certain nonconvex consensus and sharing problems, and show that the classical ADMM converges to the set of stationary solutions, provided that the penalty parameter in the augmented Lagrangian is chosen to be sufficiently large. For the sharing problems, we show that the ADMM is convergent regardless of the number of variable blocks. Our analysis does not impose any assumptions on the iterates generated by the algorithm, and is broadly applicable to many ADMM variants involving proximal update rules and various flexible block selection rules.

연구 동기 및 목표

• 비볼록 최적화에서 ADMM에 대한 이론적 수렴 보장이 부족한 점, 특히 다중 블록 문제에 대해 해결하기 위해.
• 비볼록 문제의 가족에 대해 약한, 검증 가능한 조건 하에서 ADMM의 정류점 해로의 전역 수렴을 확립하기 위해.
• 이전 수렴 분석에서 애초에 검증할 수 없는 반복값에 대한 가정에 의존하는 것을 제거하기 위해.
• 연결 함수와 다중 변수 블록을 가진 비볼록 문제로까지 수렴 결과를 확장하기 위해.
• 비볼록 ADMM 수렴 분석을 위한 보조 라그랑주 함수를 잠재 함수로 사용하는 일반적 프레임워크를 제공하기 위해.

제안 방법

• 보조 라그랑주 함수를 잠재 함수로 사용하여 수렴 분석를 이끄는 방법으로, 이를 리아푸노프 유사 함수로 간주한다.
• 문제 구조와 반복값에 대해 검증 가능한 조건(가정 D)을 도입하며, 유계성 및 성장 조건을 포함한다.
• 하위문제의 강한 볼록성과 이중 업데이트 성장 조절을 위해 페널티 파라미터 ρ가 충분히 크게 설정되어야 한다.
• 보조 라그랑주 함수에 대한 내림세기 논증을 적용하여, 이 함수가 감소하고 아래로 유계임을 보인다.
• 공통화 및 공유 문제 모두를 분석하여, 가정 D 하에서 정류점 해로의 수렴을 증명한다.
• 프록시멀 항과 유연한 블록 선택 규칙을 포함한 변형에 대해서도 분석을 확장하여, 여전히 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 다중 블록 변수를 가진 비볼록 문제에서 ADMM가 전역 수렴하는 조건은 무엇인가?
• RQ2 반복값의 유계성 또는 수렴성에 대한 사전 가정 없이도 비볼록 문제에서 ADMM의 수렴을 보장할 수 있는가?
• RQ3 페널티 파라미터 ρ는 비볼록 ADMM의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 보조 라그랑주 함수는 비볼록 ADMM 수렴 분석을 위한 유효한 잠재 함수로 사용될 수 있는가?
• RQ5 연결 함수 ℓ(x)의 구조는 비볼록 설정에서 ADMM의 수렴에 어떤 영향을 미치는가?

주요 결과

• 페널티 파라미터 ρ가 충분히 크면, 비볼록 공통화 및 공유 문제에서 ADMM는 정류점 해로 수렴한다.
• 이전 연구들과 달리 반복값의 유계성 또는 수렴성에 대한 가정 없이도 수렴이 보장된다.
• 제안된 조건 하에서, 원시 타당성 갭 ‖q - Axᵗ⁺¹‖은 극한에서 0으로 수렴한다.
• 프록시멀 항과 유연한 블록 선택 규칙을 포함한 ADMM 변형에 대해서도 분석이 적용되어 적용 범위가 넓어진다.
• 역행렬이 존재하는 연결 행렬을 가진 두 블록 비볼록 문제의 일군에 대해, ρ > L_g / λ_min(AAᵀ) 조건을 만족하면 수렴이 성립한다. 이는 검증 가능한 조건이다.
• 가정 D1 하에서 보조 라그랑주 함수가 균일하게 아래로 유계임을 입증하였으며, 이는 수렴에 있어 필수적이다.