[論文レビュー] A Generalized Online Mirror Descent with Applications to Classification and Regression

Francesco Orabona, Koby Crammer+1 more|arXiv (Cornell University)|Apr 10, 2013

Advanced Bandit Algorithms Research参考文献 42被引用数 9

ひとこと要約

本稿では、時間変動する正則化子と勾配に基づかない更新を組み込んだ、従来のオンラインミラー降下を一般化した枠組みを提案する。この枠組みにより、一次および二次のオンライン学習アルゴリズムが統一され、より良いレジットバウンドが達成されるとともに、特徴量のスケーリングに対して不変となる新たな正則化子の選択により、AROW や二次的パーセプトロンといった既知のアルゴリズムを回復・改善することができる。

ABSTRACT

Online learning algorithms are fast, memory-efficient, easy to implement, and applicable to many prediction problems, including classification, regression, and ranking. Several online algorithms were proposed in the past few decades, some based on additive updates, like the Perceptron, and some on multiplicative updates, like Winnow. A unifying perspective on the design and the analysis of online algorithms is provided by online mirror descent, a general prediction strategy from which most first-order algorithms can be obtained as special cases. We generalize online mirror descent to time-varying regularizers with generic updates. Unlike standard mirror descent, our more general formulation also captures second order algorithms, algorithms for composite losses and algorithms for adaptive filtering. Moreover, we recover, and sometimes improve, known regret bounds as special cases of our analysis using specific regularizers. Finally, we show the power of our approach by deriving a new second order algorithm with a regret bound invariant with respect to arbitrary rescalings of individual features.

研究の動機と目的

• 一次および二次のオンライン学習アルゴリズムを一つの理論的枠組みで統一すること。
• オンラインミラー降下を、時間変動する正則化子と勾配に基づかない更新を許容するように拡張すること。
• 個々の特徴量の任意のスケーリングに対して不変であるような、レジットバウンドを導出すること。
• AROW や Vovk-Azoury-Warmuth、二次的パーセプトロンといった既知のアルゴリズムを回復・改善すること。
• 合成損失関数や適応フィルタリングに適用可能な、一般的な解析手法を提供すること。

提案手法

• 時間変動する正則化子と、サブ勾配に基づかない更新を用いる一般化されたオンラインミラー降下アルゴリズムを提案する。
• ブレグマン散発と凸双対性を用いてレジットを分析し、オンライン凸最適化の枠組みを活用する。
• 入力特徴量の任意のスケーリングに対して不変となるレジットバウンドを保証する、新たな正則化子の選択を導入する。
• この枠組みを用いて、より良い理論的保証を持つ新しい二次的アルゴリズムを導出する。
• 効率的な計算を可能にするために、特徴量相関行列の対角近似を用いる。
• 双対性に基づく解析を用いて、損失のサブ勾配の双対ノルムを含むレジットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 オンラインミラー降下を、時間変動する正則化子と勾配に基づかない更新を組み込むように一般化できるか？
• RQ2 このような一般化が、一次および二次のオンライン学習アルゴリズムを統一できるか？
• RQ3 この枠組みが、特徴量のスケーリングに対して不変なレジットバウンドを導出できるか？
• RQ4 このアプローチにより、AROW や二次的パーセプトロンといった既存のアルゴリズムを回復・改善できるか？
• RQ5 この手法は、臨戦的でない証明手法を必要とせずに、合成損失設定に適用できるか？

主な発見

• 一般化されたオンラインミラー降下枠組みは、AROW および二次的パーセプトロンアルゴリズムを特別なケースとして回復する。
• 特定の正則化子の選択により、個々の特徴量の任意のスケーリングに対して不変なレジットバウンドが達成される。
• AROW や二次的パーセプトロンを含む、いくつかの既知のアルゴリズムに対して、改善されたレジットバウンドが得られる。
• 特徴量相関行列の対角成分のみを用いることで、効率的な二次的アルゴリズムの変種が可能となり、従来の技術では達成できなかった結果が得られる。
• 臨戦的でない証明手法を必要とせず、合成損失設定に適用可能であり、従来の手法を改善する。
• 同じ仮定のもとで、既存のバウンドを一致または上回るレジットバウンドを持つ、新しい二次的アルゴリズムが導出された。