[논문 리뷰] On the Efficiency of Random Permutation for ADMM and Coordinate Descent

Ruoyu Sun, Zhi‐Quan Luo외 1명|arXiv (Cornell University)|2015. 03. 22.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 14

한 줄 요약

이 논문은 무작위 순열을 적용한 ADMM(RP-ADMM)와 블록 좌표 강하(RP-BCD)에 대한 이론적 보장을 수립하며, 선형 시스템을 해결하는 데 있어 RP-ADMM가 기대값 기반 수렴성을 보임을 증명하고, RP-BCD가 순환적 BCD보다 기대 수렴 속도가 O(n) 빠르며, 업데이트 행렬의 고유값 스펙트럼이 (−1/3, 1) 내에 국한됨을 보이며, 이는 대규모 최적화에서 무작위 순열의 경험적 우수성에 대한 근본적인 설명을 제공한다.

ABSTRACT

Random permutation is observed to be powerful for optimization algorithms: for multi-block ADMM (alternating direction method of multipliers), while the classical cyclic version divergence, the randomly permuted version converges in practice; for BCD (block coordinate descent), the randomly permuted version is typically faster than other versions. In this paper, we provide strong theoretical evidence that random permutation has positive effects on ADMM and BCD, by analyzing randomly permuted ADMM (RP-ADMM) for solving linear systems of equations, and randomly permuted BCD (RP-BCD) for solving unconstrained quadratic problems. First, we prove that RP-ADMM converges in expectation for solving systems of linear equations. The key technical result is that the spectrum of the expected update matrix of RP-BCD lies in $(-1/3, 1)$, instead of the typical range $(-1, 1)$. Second, we establish expected convergence rates of RP-ADMM for solving linear sytems and RP-BCD for solving unconstrained quadratic problems. This expected rate of RP-BCD is $O(n)$ times better than the worst-case rate of cyclic BCD, thus establishing a gap of at least $O(n)$ between RP-BCD and cyclic BCD. To analyze RP-BCD, we propose a conjecture of a new matrix AM-GM (algebraic mean-geometric mean) inequality, and prove a weaker version of it.

연구 동기 및 목표

• 선형 시스템을 해결하는 데 있어 순환적 다중블록 ADMM의 발산 문제를 분석함으로써 무작위 순열을 적용한 ADMM(RP-ADMM)의 이론적 해결책을 제시하기 위해.
• 무작위 순열이 블록 좌표 강하(BCD)와 ADMM에서 경험적으로 성공하는 데 기여하는 이론적 기반을 구축하기 위해.
• 비제약 조건이 붙은 이차 문제에 대해 RP-BCD의 기대 수렴 속도를 정량화하고 순환적 BCD와 비교하기 위해.
• RP-BCD의 수렴 분석을 뒷받침하기 위해 새로운 행렬 산술기하평균 부등식의 더 약한 형태를 제안하고 증명하기 위해.
• 대규모 최적화에서 순환적 및 독립적 무작위화 기법보다 무작위 순열이 제공하는 증명 가능한 속도 향상을 보여주기 위해.

제안 방법

• 증강 라그랑주 프레임워크를 통해 비특이 정방선형 시스템을 해결하기 위해 RP-ADMM를 분석한다.
• RP-BCD의 기대 업데이트 행렬을 유도하고, 그 스펙트럼이 일반적인 (−1, 1) 범위보다 더 좁은 (−1/3, 1) 내에 있음을 증명한다.
• 스펙트럼 분석을 통해 선형 시스템에 대한 RP-ADMM와 이차 문제에 대한 RP-BCD의 기대 수렴 속도를 수립한다.
• 새로운 행렬 산술기하평균 부등식에 대한 추측을 제시하고, RP-BCD의 수렴 속도를 경계하기 위해 더 약한 형태를 증명한다.
• 수학적 귀납법과 고유값 분석을 활용하여 반복 과정에서 기대 잔차 감쇠에 대한 경계를 유도한다.
• 다양한 행렬 유형(Gaussian, 로그정규분포, 균일분포, 순환 헨켈 행렬)에 대한 수치 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 순환적 ADMM가 발산하는 바에 비해, 무작위 순열을 적용한 ADMM(RP-ADMM)가 선형 시스템을 해결하는 데 있어 기대값 기반으로 수렴하는가?
• RQ2 비제약 조건이 붙은 이차 문제에 대해 RP-BCD의 기대 수렴 속도는 얼마이며, 순환적 BCD와 비교해 어떤가?
• RQ3 RP-BCD의 업데이트 행렬 스펙트럼을 (−1, 1)보다 더 좁게 경계할 수 있으며, 이는 수렴성에 어떤 영향을 미치는가?
• RQ4 RP-BCD가 순환적 BCD보다 증명 가능한 속도 향상을 제공하는가? 만약 그렇다면 이 격차의 주요 순서는 무엇인가?
• RQ5 무작위화된 BCD의 수렴 분석을 뒷받침하기 위해 새로운 행렬 산술기하평균 부등식을 제안하고 부분적으로 증명할 수 있는가?

주요 결과

• RP-ADMM는 비특이 선형 시스템을 해결하는 데 있어 기대값 기반 수렴성을 보이며, 순환적 ADMM의 발산 문제에 대한 이론적 해결책을 제공한다.
• RP-BCD의 기대 업데이트 행렬 스펙트럼은 (−1/3, 1) 내에 위치하며, 일반적인 (−1, 1) 범위보다 상당히 좁아진다.
• RP-BCD의 기대 수렴 속도는 순환적 BCD의 최악의 경우 속도보다 O(n) 빠르며, 이는 기대값 기반 O(n) 격차를 증명한다.
• 수치 실험 결과, RP-ADMM는 기본 경사하강법보다 빠르게 수렴하며, 발산하는 경우 순환적 ADMM보다 10배 이상 더 빠른 경향이 있다.
• 가우시안 및 로그정규분포 행렬의 경우, 차원이 증가함에 따라 순환적 ADMM는 발산하지만, RP-ADMM는 일관되게 수렴하며 경사하강법을 능가한다.
• BR-ADMM(Bernoulli-무작위화 ADMM) 역시 수렴하지만 일반적으로 RP-ADMM보다 느리며, 제약 조건이 있는 아키텍처에서는 샘플링 시간 절약 효과가 있을 수 있다.