[논문 리뷰] On the Expected Convergence of Randomly Permuted ADMM

Ruoyu Sun, Zhi‐Quan Luo외 1명|arXiv (Cornell University)|2015. 03. 22.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 33

한 줄 요약

이 논문은 정방형 선형 방정식계를 해결하기 위해 분할된 블록 업데이트 순서를 무작위로 뒤섞는 것이 보조곱셉법(ADMM)에서 수렴 보장을 보장함을 증명한다—기존의 다중블록 ADMM가 수렴하지 못하는 상황에서도 말이다. 핵심 기여는 순환적이고 무작위 순서로 업데이트하는 방식 간의 근본적인 차이를 규명한 것으로, 후자는 무작위화 조건 하에서 수렴을 보장한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is now widely used in many fields, and its convergence was proved when two blocks of variables are alternately updated. It is computationally beneficial to extend the ADMM directly to the case of a multi-block convex minimization problem. Unfortunately, such an extension fails to converge even when solving a simple square system of linear equations. In this paper, however, we prove that, if in each step one randomly and independently permutes the updating order of any given number of blocks followed by the regular multiplier update, the method will converge in expectation for solving the square system of linear equations. Our result indicates that for ADMM the cyclic update rule and the random permutation update rule are fundamentally different. To the best of our knowledge, this is the first example that such a difference is rigorously established for a specific optimization algorithm, although the random permutation rule has been reported to be experimentally better than the cyclic rule in many large-scale optimization problems. Our analysis technique of random permutation might be useful in other contexts.

연구 동기 및 목표

• 선형 방정식계를 풀이할 때 다중블록 ADMM의 수렴 보장이 부족한 문제를 해결하기 위해.
• 순환적 업데이트가 실패하는 상황에서, 블록 업데이트의 무작위 순서 전환이 수렴을 복원할 수 있는지 조사하기 위해.
• ADMM에서 순환적과 무작위 순서 업데이트 규칙 간의 공식적인 이론적 차이를 규명하기 위해.
• 일阶 최적화 방법에서 무작위화 업데이트 방식을 분석하기 위한 새로운 분석 프레임워크를 제공하기 위해.

제안 방법

• 각 반복에서 블록 업데이트 순서를 무작위로 뒤섞는다. 이 과정에서 표준 ADMM의 이중상승 업데이트 방식을 유지한다.
• 스토하스틱 근사와 행렬 분석 기법을 사용하여 기대 수렴 행동을 분석한다.
• 다중블록 ADMM의 실패를 시험하기 위한 기준 사례로 정방형 선형 방정식계를 집중적으로 고려한다.
• 반복 과정에서 최적성 갭의 기대 감소를 유한하게 제한함으로써 수렴을 기대값 기반으로 증명한다.
• 반복 간 순서의 독립성을 활용하여 마틴게일 유사 성질을 도출한다.
• 무작위 순서의 성질과 대칭 양의 정부호 행렬의 성질을 이용하여 이론적 결과를 유도한다.

실험 결과

연구 질문

• RQ1 선형 방정식계에 대해 다중블록 ADMM에서 블록 업데이트의 무작위 순서 전환이 수렴을 복원하는가?
• RQ2 무작위 순서 ADMM의 수렴 행동은 순환적 ADMM과 어떻게 다를까?
• RQ3 무작위 순서 ADMM에 대해 기대값 기반 수렴 보장을 이론적으로 확립할 수 있는가?
• RQ4 무작위화 조건 하에서 수렴을 가능하게 하는 업데이트 규칙의 구조적 성질은 무엇인가?

주요 결과

• 정방형 선형 방정식계에 대해 다중블록 ADMM에서 블록 업데이트 순서를 무작위로 뒤섞는 것은 수렴 기대값을 보장한다.
• 표준 다중블록 ADMM가 순환적 업데이트를 사용할 경우 수렴하지 못하는 동일한 문제에 대해서도 이 방법은 수렴한다.
• 이 결과는 ADMM에서 순환적 업데이트 규칙과 무작위 순서 업데이트 규칙 간의 근본적인 이론적 차이를 규명한다.
• 분석은 일阶 최적화 방법에서 무작위화 업데이트 방식을 연구하기 위한 새로운 프레임워크를 제공한다.
• 연구 결과는 대규모 최적화에서 무작위 순서의 경험적 성공을 설명하며, 그 사용에 대한 이론적 근거를 제공한다.