[논문 리뷰] Fast Stochastic Alternating Direction Method of Multipliers

Leon Wenliang Zhong, James T. Kwok|arXiv (Cornell University)|2013. 08. 16.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 24

한 줄 요약

이 논문은 선형화된 ADMM 프레임워크 내에서 전체 기울기를 점진적으로 근사하는 빠른 확률적 ADMM 알고리즘을 제안한다. 이는 $\mathcal{O}(1/T)$의 최적 수렴 속도를 달성하며 배치 ADMM와 동일한 성능를 보이지만, 반복당 복잡도는 낮게 유지한다. 이 방법은 볼록 및 강볼록 설정 모두에서 기존의 확률적 ADMM 변형보다 뚜렷이 뛰어나다.

ABSTRACT

In this paper, we propose a new stochastic alternating direction method of multipliers (ADMM) algorithm, which incrementally approximates the full gradient in the linearized ADMM formulation. Besides having a low per-iteration complexity as existing stochastic ADMM algorithms, the proposed algorithm improves the convergence rate on convex problems from $O(\frac 1 {\sqrt{T}})$ to $O(\frac 1 T)$, where $T$ is the number of iterations. This matches the convergence rate of the batch ADMM algorithm, but without the need to visit all the samples in each iteration. Experiments on the graph-guided fused lasso demonstrate that the new algorithm is significantly faster than state-of-the-art stochastic and batch ADMM algorithms.

연구 동기 및 목표

• 확률적 ADMM 알고리즘과 배치 ADMM 알고리즘 간의 수렴 속도 격차를 해소한다. 일반적으로 확률적 변형은 $\mathcal{O}(1/\sqrt{T})$ 속도로 수렴한다.
• 반복당 복잡도를 낮게 유지하면서도 배치 ADMM의 더 빠른 $\mathcal{O}(1/T)$ 수렴 속도를 달성하는 확률적 ADMM 변형을 개발한다.
• 전체 배치 방법이 계산적으로 비현실적인 경우, 그래프 가중치가 있는 융합 라소와 같은 기계학습 응용 분야에서의 대규모 최적화를 가능하게 한다.
• 구조적 희박 정규화 문제에서 온라인/확률적 방법과 배치 방법 간의 성능 격차를 해소한다.
• 고차원 데이터를 가진 대규모 학습 작업에 대해 배치 ADMM의 실용적이고 확장 가능한 대안을 제공한다.

제안 방법

• 선형화된 ADMM 업데이트에서 전체 기울기를 대체하기 위해 점진적 기울기 근사를 사용하는 새로운 확률적 ADMM 변형을 제안한다.
• 두 가지 변형을 도입한다: 표준 업데이트를 사용하는 SA-ADMM와 비정확 우자와 방법을 사용하는 SA-IU-ADMM로, 모두 계산 효율성을 유지하도록 설계되었다.
• 보조 제약 조건을 피하기 위해 보조 라그랑주안의 선형화를 활용하여 비볼록 또는 복잡한 하위문제를 피한다. 이로 인해 효율적인 폐쇄형 해를 얻을 수 있다.
• 반복당 비용을 증가시키지 않고도 분산을 줄이고 수렴 속도를 높이기 위해 기울기 추정에 평균화 전략을 적용한다.
• 수렴성과 안정성을 보장하기 위해 적절히 선택된 비례 상수를 가진 일정 단계 크기 규칙을 사용한다.
• 데이터 피팅($\phi(x)$)과 정규화($\psi(y)$) 항으로 목적함수를 분할하고 공통 제약 조건 $Ax + By = c$를 설정함으로써 정규화된 위험 최소화 문제에 적용한다.

실험 결과

연구 질문

• RQ1 반복당 복잡도를 낮게 유지하면서도 배치 ADMM와 동일한 $\mathcal{O}(1/T)$ 수렴 속도를 달성할 수 있는가?
• RQ2 선형화된 ADMM 프레임워크 내에서 점진적 기울기 근사를 사용할 경우, 기존의 확률적 ADMM 방법보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 실제 기계학습 데이터셋에서 제안된 방법이 최신 기술의 확률적 및 배치 ADMM 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ4 특히 $\ell_2$-정규화가 추가된 강볼록 목표 함수에서 제안된 알고리즘이 빠른 수렴을 유지할 수 있는가?
• RQ5 비정확 우자 방법(SA-IU-ADMM)은 표준 ADMM 업데이트에 비해 수렴 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 SA-IU-ADMM 알고리즘은 모든 테스트 데이터셋에서 가장 빠른 수렴 속도를 보이며, 확률적 및 배치 ADMM 변형을 모두 앞선다.
• a9a, covertype, quantum, rcv1, 그리고 sido 데이터셋에서, SA-IU-ADMM는 STOC-ADMM, OPG-ADMM, RDA-ADMM, 배치 ADMM보다 더 낮은 목적함수 값을 더 적은 데이터의 유효 라운드 수로 달성한다.
• 알고리즘은 배치 ADMM와 동일한 $\mathcal{O}(1/T)$ 수렴 속도를 달성하면서도, 확률적 방법의 낮은 반복당 비용을 유지한다.
• 강볼록 설정(추가된 $\ell_2$-정규화 포함)에서, SA-IU-ADMM와 다른 방법 간의 성능 격차가 더욱 벌어지며, 이는 그 안정성과 효율성의 우수성을 확인한다.
• 실험 결과, 높은 반복당 비용으로 인해 배치 ADMM는 최적의 수렴 속도를 가짐에도 불구하고 제안된 확률적 방법보다 훨씬 느리게 작동함을 확인했다.
• 다양한 데이터셋에서 목적함수 값과 테스트 손실 모두에서 제안된 방법이 일관되게 뛰어난 성능를 보이며, 특히 rcv1 및 sido와 같은 고차원 데이터에서 가장 큰 성과를 보였다.