[논문 리뷰] A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates

H. Brendan McMahan|arXiv (Cornell University)|2010. 09. 16.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 24

한 줄 요약

이 논문은 FTRL-Proximal, RDA, COMID 세 가지 온라인 볼록 최적화 알고리즘을 두루뭉술한 Follow-the-Regularized-Leader (FTRL) 프레임워크에 통합함으로써 이들 모두가 2차 정규화를 갖는 일반적인 FTRL 프레임워크의 특수한 경우임을 보여준다. 이는 RDA와 FTRL-Proximal이 FOBOS보다 $L_1$-정규화 문제에서 더 뛰어난 희소성 성능을 보이는 이유를 이론적으로 설명한다. FOBOS는 이전 라운드의 하위기울기 근사치를 사용하지만, RDA와 FTRL-Proximal은 누적 $L_1$ 페널티를 정확히 처리하기 때문이다.

ABSTRACT

We study three families of online convex optimization algorithms: follow-the-proximally-regularized-leader (FTRL-Proximal), regularized dual averaging (RDA), and composite-objective mirror descent. We first prove equivalence theorems that show all of these algorithms are instantiations of a general FTRL update. This provides theoretical insight on previous experimental observations. In particular, even though the FOBOS composite mirror descent algorithm handles L1 regularization explicitly, it has been observed that RDA is even more effective at producing sparsity. Our results demonstrate that FOBOS uses subgradient approximations to the L1 penalty from previous rounds, leading to less sparsity than RDA, which handles the cumulative penalty in closed form. The FTRL-Proximal algorithm can be seen as a hybrid of these two, and outperforms both on a large, real-world dataset. Our second contribution is a unified analysis which produces regret bounds that match (up to logarithmic terms) or improve the best previously known bounds. This analysis also extends these algorithms in two important ways: we support a more general type of composite objective and we analyze implicit updates, which replace the subgradient approximation of the current loss function with an exact optimization.

연구 동기 및 목표

• 세 가지 주요 온라인 학습 알고리즘인 FTRL-Proximal, RDA, COMID의 이론적 통합을 수립하는 것.
• $L_1$ 정규화 하에서 RDA와 FTRL-Proximal이 FOBOS보다 더 희소한 해를 생성하는 이유를 설명하는 것.
• 암묵적 업데이트와 시간에 따라 변하는 정규화 가중치를 갖는 더 일반적인 복합 목표 함수를 지원하도록 이러한 알고리즘을 확장하는 것.
• 기존 최고의 상한선에 비해 향상되거나 동일한 상한선을 제공하는 더 날카운 감소한 손실 분석을 제공하는 것. 새로운 FTRL/BTL 보조정리 도입.
• 이전 결과를 일반화하고 온라인 볼록 최적화 분야에서 더 넓은 알고리즘 설계를 지원하는 통합 분석 프레임워크를 제공하는 것.

제안 방법

• FTRL-Proximal, RDA, COMID의 세 알고리즘을 모두 2차 정규화를 갖는 일반적인 FTRL 업데이트의 특수한 경우로 수식화하는 것.
• 기존 상한선의 상수 요소를 개선하기 위해 더 날카운 새로운 FTRL/BTL 보조정리 기반의 통합된 손실 분석을 사용하는 것.
• 1차 하위기울기 근사치를 현재 손실 함수의 정확한 최적화로 대체함으로써 암묵적 업데이트를 도입하는 것.
• 비구속 항 $\Psi(x)$ 에 시간에 따라 변하는 가중치 $\alpha_t$ 를 포함한 복합 목표 함수를 일반화함으로써 베이지안 사전 분포 모델링을 가능하게 하는 것.
• 통합된 분석이 암묵적 업데이트와 일반적인 복합 목표 함수를 최소한의 추가 복잡도로 처리할 수 있음을 증명하는 것.
• RDA와 FTRL-Proximal이 누적 $L_1$ 페널티를 정확히 계산함으로써 FOBOS와 다름을 보여주는 등效성 정리 도출.

실험 결과

연구 질문

• RQ1 두 알고리즘이 모두 1차 방법을 사용함에도 불구하고, $L_1$-정규화 문제에서 RDA가 FOBOS보다 훨씬 더 높은 희소성을 보이는 이유는 무엇인가?
• RQ2 FTRL-Proximal은 RDA와 FOBOS의 하이브리드로 이해될 수 있으며, 이는 두 알고리즘의 최적의 특성을 모두 습득하는가?
• RQ3 암묵적 업데이트는 명시적 1차 방법 업데이트에 비해 손실 상한선과 실질적 성능에 얼마나 큰 영향을 미치는가?
• RQ4 FTRL, RDA, COMID의 손실 분석을 더 날카운 상한선을 갖는 단일 이론적 프레임워크 아래 통합할 수 있는가?
• RQ5 시간에 따라 변하는 정규화 가중치 $\alpha_t$ 를 갖는 복합 목표 함수를 온라인 학습에서 지원하면서도 강력한 손실 보장을 유지할 수 있는가?

주요 결과

• RDA와 FTRL-Proximal은 FOBOS가 이전 라운드의 하위기울기 근사치를 사용하는 반면, 누적 $L_1$ 페널티를 정확히 계산하기 때문에 FOBOS보다 더 뛰어난 희소성 성능을 보인다.
• 대규모 실세계 검색 광고 데이터셋에서 FTRL-Proximal은 FOBOS와 RDA 모두를 능가하는 성능을 보이며, 희소성와 정확성 사이의 균형이 뛰어나다.
• 통합된 손실 분석은 기존에 알려진 최고의 상한선과 동일하거나 이를 향상시키며, 더 날카운 FTRL/BTL 보조정리로 인해 상수 요소가 감소한다.
• 하위기울기 근사치를 현재 손실 함수의 정확한 최적화로 대체하는 암묵적 업데이트는 이론적으로 한 스텝의 이점을 제공하며, 실질적인 성능 향상에도 기여할 수 있다.
• 비구속 항 $\Psi(x)$ 에 시간에 따라 변하는 가중치 $\alpha_t$ 를 포함한 복합 목표 함수로 프레임워크를 일반화할 수 있으며, 온라인 환경에서 베이지안 사전 분포를 모델링할 수 있다.
• 등가성 정리에 따르면, RDA와 FOBOS의 핵심적인 차이점은 $L_1$ 페널티 처리 방식에 있다: RDA는 누적적이고 정확하게 처리하지만, FOBOS는 점진적으로 근사한다.