[논문 리뷰] Bregman Alternating Direction Method of Multipliers

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|2013. 06. 13.

Advanced Optimization Algorithms Research참고 문헌 29인용 수 159

한 줄 요약

이 논문은 이차 페널티 항을 Bregman 발산으로 대체하여 문제 구조를 더 잘 활용하는 ADMM의 일반화인 Bregman 역행렬 방법의 다중 승수(BADMM)를 제안한다. BADMM는 O(1/T) 반복 복잡도를 가지며 전역 수렴을 보장하며, ADMM보다 최대 O(n/log(n)) 빠르게 작동한다. 대규모 질량 운반 문제에서 ADMM 및 Gurobi와 같은 상용 솔버보다 뛰어나며, GPU에서 병렬화할 경우 더욱 빠른 성능을 발휘한다.

ABSTRACT

The mirror descent algorithm (MDA) generalizes gradient descent by using a Bregman divergence to replace squared Euclidean distance. In this paper, we similarly generalize the alternating direction method of multipliers (ADMM) to Bregman ADMM (BADMM), which allows the choice of different Bregman divergences to exploit the structure of problems. BADMM provides a unified framework for ADMM and its variants, including generalized ADMM, inexact ADMM and Bethe ADMM. We establish the global convergence and the $O(1/T)$ iteration complexity for BADMM. In some cases, BADMM can be faster than ADMM by a factor of $O(n/\log(n))$. In solving the linear program of mass transportation problem, BADMM leads to massive parallelism and can easily run on GPU. BADMM is several times faster than highly optimized commercial software Gurobi.

연구 동기 및 목표

• 문제의 특정 구조를 더 잘 활용하기 위해 ADMM의 이차 페널티 항을 Bregman 발산으로 대체함으로써 ADMM를 일반화하는 것.
• ADMM, 일반화된 ADMM, 비정확한 ADMM, Bethe-ADMM를 포함하는 통합 프레임워크를 수립하는 것.
• 제안된 BADMM 알고리즘의 전역 수렴성과 O(1/T) 반복 복잡도를 증명하는 것.
• 특히 GPU 병렬화를 통해 대규모 문제에서 ADMM 및 상용 솔버(Gurobi 등)보다 뚜렷한 속도 향상을 보이는 것을 입증하는 것.
• 표준 선형계획법 솔버가 다룰 수 없는 문제까지 효율적으로 해결할 수 있도록, 확장성에도 불구하고 낮은 메모리 사용량을 유지하는 것.

제안 방법

• BADMM는 보정 라그랑주 함수의 이차 페널티 항을 Bregman 발산으로 대체하여, 문제의 구조에 맞는 유연한 발산 선택이 가능하도록 한다.
• 알고리즘은 Bregman 발산 기반의 프록시멀 업데이트를 사용해 원시 변수 x와 z에 대해 교차 최소화를 수행하며, 이중 변수 업데이트는 표준 ADMM 규칙을 따르는 방식이다.
• 원시 변수 업데이트에 추가적인 Bregman 발산을 포함하는 일반화된 변형이 포함되어 있어, 구조가 있는 문제에 대한 유연성을 향상시킨다.
• 핵심 업데이트는 Bregman 발산 D_F(x, x_t)를 사용하여 유도되며, 질량 운반 문제와 같은 특정 경우에서는 닫힌 형태의 해를 도출할 수 있다.
• 질량 운반 문제의 경우, BADMM 업데이트는 지수 기반 경사하강 스타일 업데이트로 표현되며, O(mn) 시간에 계산 가능하고 고도로 병렬화가 가능하다.
• 알고리즘은 GPU에서 효율적으로 구현되었으며, 원소별 연산과 로그 시간 복잡도를 가지는 합계 감소 연산의 병렬성을 유용하게 활용한다.

실험 결과

연구 질문

• RQ1 ADMM의 이차 페널티 항을 Bregman 발산으로 대체해도 수렴성과 복잡도 보장을 유지할 수 있는가?
• RQ2 결과적으로 유도된 Bregman ADMM(BADMM)가 일반화된 ADMM 및 Bethe-ADMM와 같은 기존 ADMM 변종을 모두 포함하는 통합 프레임워크를 제공하는가?
• RQ3 일반적인 볼록 설정 하에서 BADMM의 수렴 행동과 반복 복잡도는 어떠한가?
• RQ4 대규모 문제에서 BADMM의 성능이 ADMM 및 Gurobi와 같은 최첨단 상용 솔버와 비교해 어떻게 되는가?
• RQ5 특히 GPU 아키텍처에서 병렬화할 경우 BADMM가 뚜렷한 속도 향상과 낮은 메모리 사용량을 달성할 수 있는가?

주요 결과

• BADMM는 전역 수렴성과 O(1/T) 반복 복잡도를 확립하여, 더 넓은 범위의 최적화 문제에 이론적 보장을 확장한다.
• 일부 경우에서 BADMM는 ADMM보다 최대 O(n/log(n))의 속도 향상을 달성하며, 이는 Bregman 발산이 문제의 구조와 잘 맞을 경우 특히 두드러진다.
• 질량 운반 문제에서 BADMM는 런타임과 반복 횟수 측면에서 ADMM보다 더 빠르게 수렴한다. 초기값이 덜 최적일 경우에도 마찬가지다.
• 대규모 문제에서 BADMM는 Gurobi를 능가한다: n = 10×2^10 및 n = 15×2^10 문제에서 Gurobi는 메모리 한계로 종료되지 않지만, BADMM는 단일 GPU(5GB 메모리)에서 효율적으로 실행된다.
• 15×2^10 문제에서 BADMM의 런타임은 303.54초이며, 고성능 86GB 서버에서 실행된 Gurobi는 종료되지 않아, 더 뛰어난 확장성과 메모리 효율성을 입증한다.
• BADMM의 메모리 프로파일은 O(n²)이며, 0.2억 개 이상의 변수를 가진 문제에서도 여전히 실행 가능하다. 반면 Gurobi의 경우 n이 증가함에 따라 빠르게 메모리 소모가 증가한다.