[논문 리뷰] Adaptive Stochastic Alternating Direction Method of Multipliers

Peilin Zhao, Jin-Wei Yang외 2명|arXiv (Cornell University)|2013. 12. 16.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 8

한 줄 요약

이 논문은 전통적인 스토하스틱 ADMM에서 고정된 2차 형식의 프록시멀 함수를 대체하여, 부분미분 정보에서 유도된 적응형 2차 프록시멀 함수를 사용하는 적응형 스토하스틱 ADMM 알고리즘을 제안한다. 이는 이전 기울기의 정보에 기반해 프록시멀 항을 동적으로 조정함으로써, 최적의 사후 프록시멀 함수와 동일한 리그레트 한계를 달성하며, 표준 스토하스틱 ADMM에 비해 더 빠른 수렴 속도와 실제 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

The Alternating Direction Method of Multipliers (ADMM) has been studied for years. The traditional ADMM algorithm needs to compute, at each iteration, an (empirical) expected loss function on all training examples, resulting in a computational complexity proportional to the number of training examples. To reduce the time complexity, stochastic ADMM algorithms were proposed to replace the expected function with a random loss function associated with one uniformly drawn example plus a Bregman divergence. The Bregman divergence, however, is derived from a simple second order proximal function, the half squared norm, which could be a suboptimal choice. In this paper, we present a new family of stochastic ADMM algorithms with optimal second order proximal functions, which produce a new family of adaptive subgradient methods. We theoretically prove that their regret bounds are as good as the bounds which could be achieved by the best proximal function that can be chosen in hindsight. Encouraging empirical results on a variety of real-world datasets confirm the effectiveness and efficiency of the proposed algorithms.

연구 동기 및 목표

• 고정된 2차 형식의 프록시멀 함수(절반 제곱 노름)를 사용하는 전통적 스토하스틱 ADMM의 성능이 부적절할 수 있으며, 이는 다양한 기울기 구조에 잘 적응하지 못할 수 있음을 해결하기 위함.
• 이전의 부분미분 정보를 기반으로 한 적응형 프록시멀 함수를 사용하는 새로운 스토하스틱 ADMM 알고리즘의 가족을 개발하여, 수렴 속도와 최적화 효율을 향상시키기 위함.
• 제안된 방법의 리그레트 한계가 사후에 선택된 최적의 프록시멀 함수와 동일함을 이론적으로 증명하여, 적응성의 최적성을 입증하기 위함.
• 다양한 실제 기계학습 데이터셋에서 제안된 알고리즘의 효과성과 효율성을 경험적으로 검증하기 위함.

제안 방법

• 반드시 제곱 노름에 기반한 Bregman 발산을, 이전 기울기의 정보를 반영해 동적으로 업데이트되는 양의 정부호 행렬 H_t에 기반한 적응형 Bregman 발산으로 대체한다.
• 적응형 프록시멀 함수는 누적된 부분미분 정보를 반영해 업데이트되는 대각형 또는 전면 헤시안 유사 행렬 H_t를 사용하여 구성된다.
• 각 반복 단계에서, 적응형 Bregman 발산을 사용한 선형화된 부분문제를 해결함으로써, 계산 효율성을 유지하면서도 닫힌 형태의 갱신을 가능하게 한다.
• 스텝 사이즈는 로그 스케일의 그리드에서 교차검증을 통해 적응적으로 선택되며, 볼록성 가정 하에 수렴 보장을 유지하도록 설계된다.
• 이 방법은 과거 기울기의 정보에 기반해 프록시멀 항을 진화시킴으로써, 비균일한 데이터와 손실 곡면에 더 잘 대응할 수 있도록 스토하스틱 ADMM을 일반화한다.
• 이론적 분석을 통해 제안된 알고리즘의 리그레트 한계가 최적의 사후 프록시멀 함수로 달성 가능한 한계와 일치함을 입증하여, 적응성의 최적성을 증명한다.

실험 결과

연구 질문

• RQ1 부분미분 이력에서 유도된 적응형 프록시멀 함수가 고정된 2차 형식의 프록시멀 함수보다 스토하스틱 ADMM의 수렴 속도를 향상시킬 수 있는가?
• RQ2 제안된 적응형 스토하스틱 ADMM의 리그레트 한계가 사후에 선택된 최적의 프록시멀 함수로 달성 가능한 이론적 하한선과 일치하는가?
• RQ3 대각형 및 전면 적응형 헤시안 행렬 간의 선택이 수렴 속도와 계산 비용 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 제안된 방법이 실제 기계학습 데이터셋에서 표준 스토하스틱 ADMM보다 더 빠른 수렴 속도와 더 나은 일반화 성능을 달성할 수 있는가?
• RQ5 적응형 스토하스틱 ADMM의 대각형 및 전면 행렬 변형 간의 계산 효율성 트레이드오프는 어떠한가?

주요 결과

• Ada-SADMM diag는 a9a 데이터셋에서 SADMM보다 훨씬 더 빠른 수렴을 보였으며, 목적함수 값을 2.6002에서 0.3550으로 감소시키는 데에 94.76초가 소요되었고, SADMM는 56.09초가 소요되었다.
• mushrooms 데이터셋에서 Ada-SADMM diag는 테스트 오차를 0.0350에서 0.0006으로, 목적함수 값을 0.7353에서 0.0096으로 감소시켜, 더 뛰어난 일반화 및 최적화 성능을 입증했다.
• 대부분의 데이터셋에서 Ada-SADMM full은 Ada-SADMM diag보다 약간 더 낮은 목적함수 값을 달성했지만, 상당히 높은 계산 시간(예: a9a에서 622.45초 대비 94.76초)을 소요하여 정확도와 속도 간의 트레이드오프를 보였다.
• w8a 데이터셋에서 Ada-SADMM diag는 목적함수 값을 0.3357에서 0.1526으로 감소시키고, 테스트 오차를 0.0957에서 0.0931로 줄였으며, 이는 326.14초가 소요된 바, SADMM 대비 일관된 향상을 보였다.
• 제안된 방법은 최적의 사후 프록시멀 함수와 동일한 리그레트 한계를 달성하여, 적응 전략의 이론적 최적성을 입증했다.
• 경험적 결과는 적응형 부분미분 기반 프록시멀 함수가 수렴 속도를 가속화하고 일반화 성능을 향상시킴을 확인했으며, Ada-SADMM diag는 속도와 성능 사이의 최적의 균형을 제공한다.