[논문 리뷰] On the Convergence Rate of Multi-Block ADMM

Tianyi Lin, Shiqian Ma외 1명|arXiv (Cornell University)|2014. 08. 19.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 23

한 줄 요약

이 논문은 N ≥ 3개의 블록을 가진 다중 블록 볼록 최적화에서 표준 ADMM의 수렴 속도를 확립한다. 하나의 함수가 볼록이고 나머지 N−1개의 함수가 강볼록일 경우, 오르비트(ergodic) 수렴 속도가 O(1/t)이고 비오르비트(non-ergodic) 수렴 속도가 o(1/t)임을 증명한다. 이 결과는 이 설정에서 ADMM의 수렴 거동에 대한 오랫동안 남아 있던 의문을 해결한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems. Despite of its success in practice, the convergence properties of the standard ADMM for minimizing the sum of N (N ≥ 3) convex functions with N block variables linked by linear constraints, have remained unclear for a very long time. In this paper, we present convergence and convergence rate results for the standard ADMM applied to solve N-block (N ≥ 3) convex minimization problem, under the condition that one of these functions is convex (not necessarily strongly convex) and the other N − 1 functions are strongly convex. Specifically, in that case the ADMM is proven to converge with rate O(1/t) in a certain ergodic sense, and o(1/t) in non-ergodic sense, where t denotes the number of iterations.

연구 동기 및 목표

• N ≥ 3개의 블록을 가진 다중 블록 볼록 최적화에서 표준 ADMM의 수렴 성질에 대한 오랫동안 남아 있던 불확실성을 해결하기 위해.
• 목적 함수가 하나의 볼록 함수와 N−1개의 강볼록 함수로 구성될 경우 ADMM의 수렴 속도를 확립하기 위해.
• 이 유형의 문제에 대해 오르비트 및 비오르비트 수렴 속도에 대한 이론적 보장을 제공하기 위해.
• 수렴이 잘 알려진 두 블록 케이스를 초월하여 ADMM의 이론적 이해를 확장하기 위해.

제안 방법

• ADMM 반복의 시간에 따른 진행 상황을 추적하기 위해 리아푸노프 함수 방법을 사용한다.
• 이 방법은 원본 및 이중 잔차와 목적 함수 값의 조합을 포함하는 잠재 함수를 구성하는 데 의존한다.
• 수렴은 하나의 함수가 볼록이고 나머지 N−1개의 함수가 강볼록일 경우에 성립하며, 이는 수렴을 위한 충분한 곡률를 보장한다.
• 이 분석은 오르비트 수렴과 비오르비트 수렴을 구분하며, 평균화 및 점별 행동에 기반하여 각각 다른 수렴 속도를 도출한다.
• 각 반복에서 리아푸노프 함수의 감소를 bound하는 핵심 부등식을 유도하여 최종 수렴 속도에 도달한다.

실험 결과

연구 질문

• RQ1 N ≥ 3개의 블록을 가진 N-블록 볼록 최적화에서 하나의 함수가 볼록이고 나머지 함수들이 강볼록일 경우, 표준 ADMM의 수렴 속도는 무엇인가?
• RQ2 이 조건 하에서 ADMM는 오르비트 수렴 방식으로 수렴하는가? 만약 그렇다면, 어떤 속도로 수렴하는가?
• RQ3 비오르비트 수렴 속도를 확립할 수 있으며, 이는 오르비트 수렴 속도와 어떻게 비교되는가?
• RQ4 N−1개의 블록에서 강볼록성이 존재할 경우, 일반적인 다중 블록 케이스와 비교해 수렴 거동에 어떤 영향을 미치는가?

주요 결과

• 하나의 함수가 볼록이고 나머지 N−1개의 함수가 강볼록일 경우, ADMM는 오르비트 수렴 방식으로 O(1/t) 속도로 수렴한다.
• 비오르비트 수렴 속도는 o(1/t)이며, 이는 점별 반복에서 O(1/t)보다 더 빠른 감쇠를 의미한다.
• 수렴 결과는 추가 수정이나 가정 없이 표준 ADMM 업데이트 방식을 사용하며, 볼록성 및 강볼록성 조건을 초과하지 않는 조건에서 확립된다.
• 이론적 분석은 ADMM가 N ≥ 3인 어려운 다중 블록 설정에서도 수렴하고, 증명 가능한 수렴 속도를 달성함을 확인한다.
• 이 결과는 특히 일부 구성 요소가 강볼록일 경우 다중 블록 문제에서 ADMM의 실용적 성공에 대한 이론적 기초를 제공한다.