[論文レビュー] A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates

H. Brendan McMahan|arXiv (Cornell University)|Sep 16, 2010

Sparse and Compressive Sensing Techniques参考文献 12被引用数 24

ひとこと要約

本稿では、FTRL-Proximal、RDA、COMIDの3つのオンライン凸最適化アルゴリズムを、二次正則化を伴う一般化されたフォローザレギュラー化ドリーダー（FTRL）フレームワークとして統一する。RDAとFTRL-ProximalがFOBOSよりも$ L_1 $正則化問題においてより優れたスパarsityを達成するのは、累積的な$ L_1 $ペナルティを正確に処理するが、FOBOSは部分勾配近似を用いるためであり、これは実験的スパarsity優位性の重要な理論的説明である。

ABSTRACT

We study three families of online convex optimization algorithms: follow-the-proximally-regularized-leader (FTRL-Proximal), regularized dual averaging (RDA), and composite-objective mirror descent. We first prove equivalence theorems that show all of these algorithms are instantiations of a general FTRL update. This provides theoretical insight on previous experimental observations. In particular, even though the FOBOS composite mirror descent algorithm handles L1 regularization explicitly, it has been observed that RDA is even more effective at producing sparsity. Our results demonstrate that FOBOS uses subgradient approximations to the L1 penalty from previous rounds, leading to less sparsity than RDA, which handles the cumulative penalty in closed form. The FTRL-Proximal algorithm can be seen as a hybrid of these two, and outperforms both on a large, real-world dataset. Our second contribution is a unified analysis which produces regret bounds that match (up to logarithmic terms) or improve the best previously known bounds. This analysis also extends these algorithms in two important ways: we support a more general type of composite objective and we analyze implicit updates, which replace the subgradient approximation of the current loss function with an exact optimization.

研究の動機と目的

• FTRL-Proximal、RDA、COMIDという3つの主要なオンライン学習アルゴリズムの理論的統一を確立すること。
• RDAとFTRL-Proximalが$ L_1 $正則化下でスパース解を生成する際、なぜFOBOSを上回るのかを説明すること。
• 暗黙的更新と時間変動する正則化重みを伴うより一般的な合成目的関数をサポートするようにこれらのアルゴリズムを拡張すること。
• 既存の最良の境界に匹敵またはそれを上回る、よりタイトなレジレット解析を提供すること。新規のFTRL/BTL補題を導入する。
• 従来の結果を一般化し、オンライン凸最適化における広範なアルゴリズム設計を可能にする統一された解析フレームワークを提供すること。

提案手法

• FTRL-Proximal、RDA、COMIDのすべてのアルゴリズムを、二次正則化を伴う一般化されたFTRL更新の特別なケースとして形式化する。
• 既存の境界の定数要因を改善する、よりタイトなバージョンのFTRL/BTL補題に基づく統一されたレジレット解析を用いる。
• 一階部分勾配近似の代わりに、現在の損失関数の正確な最適化を用いることで、暗黙的更新を導入する。
• 非滑らか項$ \Psi(x) $に時間変動する重み$ \alpha_t $を含めるように合成目的関数を一般化し、ベイズ的事前分布のモデリングを可能にする。
• 統一された解析が、暗黙的更新と一般合成目的関数を最小限の追加複雑性で処理できることを証明する。
• RDAとFTRL-Proximalが$ L_1 $正則化を処理する際、累積ペナルティを正確に計算することで等価であることを実証する。FOBOSとは異なり、これは累積的かつ正確に処理される。

実験結果

リサーチクエスチョン

• RQ1 RDAは、両者とも一階法を用いているにもかかわらず、なぜ$ L_1 $正則化問題においてFOBOSよりも顕著にスパース性が優れているのか？
• RQ2 FTRL-ProximalはRDAとFOBOSのハイブリッドと見なせるのか？また、両者の最良の特徴を継承するのか？
• RQ3 部分勾配近似を用いる明示的一階更新と比較して、暗黙的更新は、レジレット境界と実用的性能の両面でどの程度向上をもたらすのか？
• RQ4 FTRL、RDA、COMIDのレジレット解析を、よりタイトな境界を持つ単一の理論的フレームワークで統一できるか？
• RQ5 時間変動する正則化重み$ \alpha_t $を伴う合成目的関数をオンライン学習でサポートしつつ、強力なレジレット保証を維持する方法は何か？

主な発見

• RDAとFTRL-ProximalがFOBOSよりもスパース性に優れるのは、累積的な$ L_1 $ペナルティを正確に計算するが、FOBOSは過去のラウンドからの部分勾配近似を用いるためである。
• FTRL-Proximalは大規模な実世界の検索広告データセットにおいて、FOBOSとRDAの両方を上回る性能を示し、スパarsityと精度の間の優れたトレードオフを実現している。
• 統一されたレジレット解析により、既存の最良の境界に匹敵またはそれを上回る境界が得られ、よりタイトなFTRL/BTL補題により定数要因が削減された。
• 部分勾配近似の代わりに現在の損失関数の正確な最適化を用いる暗黙的更新は、理論的1ステップの利点を提供し、実用的性能向上にも寄与する可能性がある。
• 非定数重み$ \alpha_t $を伴う合成目的関数への一般化により、オンライン設定におけるベイズ的事前分布のモデリングが可能になった。
• 等価性定理により、RDAとFOBOSの主な差異は$ L_1 $ペナルティの処理方法にあり、RDAはそれを累積的かつ正確に処理するが、FOBOSは逐次的に近似していることが示された。