[論文レビュー] Less Regret via Online Conditioning

M. J. V. Streeter, H. Brendan McMahan|arXiv (Cornell University)|Feb 25, 2010

Advanced Bandit Algorithms Research参考文献 14被引用数 24

ひとこと要約

この論文は、オンライン凸最適化におけるレグレットを顕著に低減する、適応的で座標毎の学習率を備えたオンライン勾配降下法を提案している。標準のオンライン勾配降下法よりも理論的レグレットバウンドが強く、大規模な機械学習タスクにおいて、グローバル学習率手法を最大10倍の性能向上で上回っている。

ABSTRACT

We analyze and evaluate an online gradient descent algorithm with adaptive per-coordinate adjustment of learning rates. Our algorithm can be thought of as an online version of batch gradient descent with a diagonal preconditioner. This approach leads to regret bounds that are stronger than those of standard online gradient descent for general online convex optimization problems. Experimentally, we show that our algorithm is competitive with state-of-the-art algorithms for large scale machine learning problems.

研究の動機と目的

• 凸最適化における収束を改善するバッチ前処理技術のオンライン版が不足している問題に対処する。
• 座標間で勾配の大きさが著しく異なる場合に、オンライン設定で性能が劣化する問題を克服する。
• 損失関数の事前知識が不要な条件下で、各座標ごとに学習率を適応的に調整するレグレット最小化アルゴリズムを開発する。
• 特に勾配が座標間で変動する場合に、標準のオンライン勾配降下法よりもタイトな理論的レグレットバウンドを提供する。
• ロジスティック回帰や二値分類を含む実世界のオンライン学習タスクにおいて、最先端のアルゴリズムと同等以上の性能を示す。

提案手法

• 履歴勾配の大きさに基づき、各座標ごとに独立して学習率を調整する対角前処理を備えたオンライン勾配降下の変種を導入する。
• レグレット最小化フレームワークから導出された座標毎の学習率更新ルールを採用し、最悪ケースのレグレットバウンドが標準のオンライン勾配降下法より悪化しないことを保証する。
• 反復点を実行可能集合内に保つために射影ステップを適用し、L2ノルムを用いて正則化と制約の強制を実施する。
• 勾配ノルム、特徴量の分散、一般化された強い凸性を用いて理論的レグレットバウンドを導出し、標準のO(GD√T)バウンドを改善する。
• 実践的においては、理論式に係数（例：座標毎に0.6/R、グローバルに0.2/R）を乗じることで学習率をスケーリングし、実験的性能を向上させる。
• オンラインで実行可能集合の直径Dを推定し、特にグローバル学習率ベースラインに対してリアルタイムで学習率を適応させる。

実験結果

リサーチクエスチョン

• RQ1 適応的で座標毎の学習率は、標準のオンライン勾配降下法と比較して、オンライン凸最適化におけるレグレットバウンドを改善できるか？
• RQ2 提案手法の性能は、実世界の機械学習タスクにおける最先端のオンライン学習アルゴリズムと比較してどの程度か？
• RQ3 特徴量間で勾配の大きさが著しく異なる問題において、座標ごとの適応はどの程度レグレットを低減するか？
• RQ4 この手法を用いることで、一般化された強い凸性やコスト関数の分散を考慮した場合、理論的レグレットバウンドを改善できるか？
• RQ5 スパースで高次元な特徴量を含む多様なデータ分布において、アルゴリズムは強力な性能を維持できるか？

主な発見

• 提案された座標毎の学習率アルゴリズムは、実世界のロジスティック回帰データセットにおいて、グローバル学習率手法と比較して最大10倍のレグレット低減を達成した。
• クレジットレポートデータセットでは、座標毎手法のレグレットは0.012であったのに対し、グローバル手法は0.148であり、12倍の改善が得られた。
• 複数の二値分類タスクにおいて、ヒンジ損失の最小化という観点で、標準のオンライン勾配降下法を一貫して上回った。
• 分類精度の観点では、一般のオンライン凸最適化問題に適用可能な本手法は、Confidence-Weighted Learning (CW) などの最先端手法と同等またはそれを上回った。
• 特に勾配ノルムが座標間で著しく変動する場合に、理論的レグレットバウンドが標準のオンライン勾配降下法よりもタイトであることが確認された。
• 学習率スケーリング係数の実験的チューニング（両手法で0.1を採用）により、相対的なアルゴリズム比較に影響を与えることなく性能が向上した。