[논문 리뷰] Online Alternating Direction Method (longer version)

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|2013. 06. 17.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 45

한 줄 요약

이 논문은 선형 제약 조건이 있는 온라인 볼록 최적화 문제를 해결하기 위한 효율적인 온라인 최적화 알고리즘인 온라인 교차방법(Online Alternating Direction Method, OADM)을 제안한다. 비경운 함수의 목적함수에도 불구하고, 새로운 증명 기법을 통해 목적함수 및 제약 조건에 대해 O(1/T) 수렴 속도를 확립하며, 일반 함수와 강凸 함수에 대해 모두 재해로 경계를 도출할 수 있다. 이는 Lasso 및 총변동 문제에 응용될 수 있다.

ABSTRACT

Online optimization has emerged as powerful tool in large scale optimization. In this pa- per, we introduce efficient online optimization algorithms based on the alternating direction method (ADM), which can solve online convex optimization under linear constraints where the objective could be non-smooth. We introduce new proof techniques for ADM in the batch setting, which yields a O(1/T) convergence rate for ADM and forms the basis for regret anal- ysis in the online setting. We consider two scenarios in the online setting, based on whether an additional Bregman divergence is needed or not. In both settings, we establish regret bounds for both the objective function as well as constraints violation for general and strongly convex functions. We also consider inexact ADM updates where certain terms are linearized to yield efficient updates and show the stochastic convergence rates. In addition, we briefly discuss that online ADM can be used as projection- free online learning algorithm in some scenarios. Preliminary results are presented to illustrate the performance of the proposed algorithms.

연구 동기 및 목표

• 배치 ADMM에서 목적함수의 수렴 속도 분석 부족 문제를 해결하며, 이는 온라인 재해로 분석에 필수적이다.
• 특히 목적함수가 비경운일 경우 선형 제약 조건 하에서 복합 목적함수를 위한 효율적인 온라인 최적화 알고리즘을 개발한다.
• 일반 함수와 강凸 함수에 적용 가능한 온라인 설정에서 목적함수 및 제약 위반에 대한 재해로 경계를 확립한다.
• 선형화를 통한 비정확한 ADM 업데이트를 도입하여 계산 효율성을 향상시키면서도 수렴성을 유지한다.
• 선형 제약 조건이 있는 상황에서 OADM을 투영이 없는 온라인 학습 방법으로 활용할 수 있는지를 탐색한다.

제안 방법

• 선형 등식 제약 조건이 있는 복합 최적화 문제를 해결하기 위한 단일 루프 온라인 알고리즘인 온라인 ADMM(OADM)을 제안한다.
• 배치 ADMM 설정에서 목적함수의 O(1/T) 수렴 속도를 확립하기 위해 변동부등식 기반의 새로운 증명 기법을 도입한다.
• 배치 수렴 속도를 활용하여 온라인 설정에서 목적함수 및 제약 위반에 대한 재해로 경계를 유도한다.
• 특히 x 업데이트에서 일부 항을 선형화하여 비정확한 업데이트를 가능하게 하여 계산 효율성을 향상시킨다.
• 변수 분할을 통해 문제를 x와 z에 대한 더 단순한 하위문제로 분해하여 분산 및 투영이 없는 업데이트를 가능하게 한다.
• 브레그만 발산 기반 업데이트를 적용하여 ADMM을 이차 페널티를 초월한 일반화를 가능하게 하며, 특히 KL 발산과 같은 특정 경우에 효율적인 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 문헌에서 누락된 바 있는, 배치 ADMM에서 목적함수에 대해 O(1/T) 수렴 속도를 증명하기 위한 새로운 증명 기법을 제안할 수 있는가?
• RQ2 일반 함수와 강凸 함수에 대해 온라인 ADMM에서 목적함수 및 제약 위반에 대해 유도할 수 있는 재해로 경계는 무엇인가?
• RQ3 선형화를 통한 비정확한 ADMM 업데이트는 수렴성을 유지하면서 계산 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 어떤 상황에서 OADM이 투영이 없는 온라인 학습 알고리즘으로 활용될 수 있는가?
• RQ5 변수 분할을 활용하여 OADM을 시공간 데이터를 위한 분산 온라인 최적화로 확장할 수 있는가?

주요 결과

• 논문은 기존 문헌에서 증명되지 않았던 변동부등식 기반의 증명 기법을 통해, 배치 ADMM에서 목적함수에 대해 새로운 O(1/T) 수렴 속도를 확립한다.
• OADM은 일반 볼록 함수에 대해 온라인 설정에서 목적함수 및 제약 위반에 대해 O(1/T) 재해로 경계를 달성한다.
• 강凸 함수의 경우 OADM은 O(log T / T) 재해로 경계를 달성하여 일반 경우보다 더 빠른 수렴을 보인다.
• 선형화를 통한 비정확한 ADMM 업데이트는 수렴성을 유지하면서도 계산 효율성을 향상시키며, 특히 고차원 설정에서 유리하다.
• 실험 결과, Lasso 문제에서 OADM은 진짜 NNZ(100)에 가장 가까운 희박성 회복 성능을 보이며, FOBOS 및 RDA를 능가한다.
• 총변동 노이즈 제거 문제에서 OADM은 특히 진동 경향이 있는 상황에서 ADM, FOBOS 및 RDA보다 더 매끄럽고 정확한 패턴 복원을 제공한다.