[논문 리뷰] Zeroth-Order Online Alternating Direction Method of Multipliers: Convergence Analysis and Applications

Sijia Liu, Jie Chen외 2명|arXiv (Cornell University)|2017. 10. 21.

Sparse and Compressive Sensing Techniques인용 수 54

한 줄 요약

본 논문은 ZOO-ADMM를 제안한다. 정규화된 볼록 최적화를 위한 그래디언트-프리 gradient-free 온라인 ADMM 알고리즘으로, 수렴 속도를 도출하고 미니배치 전략이 이를 가속시킬 수 있음을 보인다. 또한 신호 처리, 통계학, 머신러닝 분야의 응용도 시연한다.

ABSTRACT

In this paper, we design and analyze a new zeroth-order online algorithm, namely, the zeroth-order online alternating direction method of multipliers (ZOO-ADMM), which enjoys dual advantages of being gradient-free operation and employing the ADMM to accommodate complex structured regularizers. Compared to the first-order gradient-based online algorithm, we show that ZOO-ADMM requires $\\sqrt{m}$ times more iterations, leading to a convergence rate of $O(\\sqrt{m}/\\sqrt{T})$, where $m$ is the number of optimization variables, and $T$ is the number of iterations. To accelerate ZOO-ADMM, we propose two minibatch strategies: gradient sample averaging and observation averaging, resulting in an improved convergence rate of $O(\\sqrt{1+q^{-1}m}/\\sqrt{T})$, where $q$ is the minibatch size. In addition to convergence analysis, we also demonstrate ZOO-ADMM to applications in signal processing, statistics, and machine learning.

연구 동기 및 목표

• 그래디언트-프리 설정에서 온라인 볼록 최적화의 정규화 문제 다루기.
• zeroth-order gradient estimation을 온라인 ADMM 업데이트와 통합하여 ZOO-ADMM 개발.
• 표준 가정하에 수렴 분석을 제공하고 가속을 위한 미니배치 전략을 탐구.
• 신호 처리, 통계학, 머신러닝에서의 실용적 적용 가능성을 시연.

제안 방법

• 함수 값 쿼리에 기반한 임의 방향을 사용한 유한 차분으로 0차 도함수 추정기(hat g_t)를 구성.
• 추정된 기울기를 사용하고 이차/선형화된 근사 항을 갖는 x의 O-ADMM 업데이트를 수정하여 x_{t+1}에 대한 투사 형태를 가능하게 한다.
• 선형 제약 조건을 강제하기 위해 y와 이중변수 lambda에 대한 ADMM 업데이트를 O-ADMM과 동일하게 유지.
• A^T A 항을 상쇄하고 효율적인 투사 단계를 가능하게 하는 G_t의 선택을 도입하여 간단한 x 업데이트로 이어지게 한다.
• 기울기 분산 감소를 위해 두 가지 미니배치 전략(그래디언트 샘플 평균화 및 관찰 평균화)과 하이브리드 결합을 제안.
• 일반 경우에 O(sqrt(m)/sqrt(T)의 후퇴(bound)와 미니배치를 통한 개선된 속도 O(sqrt(1 + m/q)/sqrt(T))를 도출.

실험 결과

연구 질문

• RQ1 제로차(zeroth-order) 온라인 ADMM이 규칙화된 볼록 목적함수를 풀 때 수렴 속도는 얼마인가?
• RQ2 미니배치 전략이 기울기 추정의 분산과 전반적 수렴 속도에 어떤 영향을 미치는가?
• RQ3 ZOO-ADMM이 온라인 제약을 만족하고 오프라인 최적 해에 비해 경쟁력 있는 후퇴를 달성할 수 있는가?
• RQ4 실용적인 미니배치 스킴이 실제 응용에서 실질적 성능 향상으로 이어지는가?
• RQ5 ZOO-ADMM은 블랙박스 최적화 문제와 복잡한 규제자를 갖는 학습 작업에서 어떤 성능을 보이는가?

주요 결과

• ZOO-ADMM은 매끄러운 합성 목표 함수에 대해 평균 후퇴의 수렴 속도 O(sqrt(m)/sqrt(T))를 달성한다.
• 두 가지 미니배치 전략인 그래디언트 샘플 평균화와 관찰 평균화는 수렴 속도를 O(sqrt(1+q^{-1}m)/sqrt(T))로 개선한다.
• 하이브리드 미니배치 전략은 분산을 추가로 감소시키고 기본 및 완전 미니배치 간의 보간하는 후퇴 경향을 보인다.
• 특수한 경우에는 확률적 최적화와 강하게 볼록한 손실에서 적절한 매개변수 선택으로 후퇴 경향이 개선된다.
• 응용으로는 블랙박스 최적화, 센서 선택, 희소 Cox 회귀 등이 포함되며 ZOO-ADMM의 실용적 활용성을 보여준다.