[論文レビュー] The Interplay Between Stability and Regret in Online Learning

Ankan Saha, Prateek Jain+1 more|arXiv (Cornell University)|Nov 26, 2012

Advanced Bandit Algorithms Research参考文献 25被引用数 10

ひとこと要約

本稿では、オンライン学習における安定性とレグレットを結びつけるための新しい指標として「フォワードレグレット」を導入し、安定性のもとで、有界なフォワードレグレットが一般の非凸問題において有界なレグレットと同値であることを証明している。FTRL、IOL、RDAなどのアルゴリズム（およびそれらの不正確（近似）バージョンを含む）のレグレット解析を簡略化し、より緊密な境界を導出する統一的な枠組みを提供している。

ABSTRACT

This paper considers the stability of online learning algorithms and its implications for learnability (bounded regret). We introduce a novel quantity called {\em forward regret} that intuitively measures how good an online learning algorithm is if it is allowed a one-step look-ahead into the future. We show that given stability, bounded forward regret is equivalent to bounded regret. We also show that the existence of an algorithm with bounded regret implies the existence of a stable algorithm with bounded regret and bounded forward regret. The equivalence results apply to general, possibly non-convex problems. To the best of our knowledge, our analysis provides the first general connection between stability and regret in the online setting that is not restricted to a particular class of algorithms. Our stability-regret connection provides a simple recipe for analyzing regret incurred by any online learning algorithm. Using our framework, we analyze several existing online learning algorithms as well as the "approximate" versions of algorithms like RDA that solve an optimization problem at each iteration. Our proofs are simpler than existing analysis for the respective algorithms, show a clear trade-off between stability and forward regret, and provide tighter regret bounds in some cases. Furthermore, using our recipe, we analyze "approximate" versions of several algorithms such as follow-the-regularized-leader (FTRL) that requires solving an optimization problem at each step.

研究の動機と目的

• 凸性や特定のアルゴリズム族に制限されない一般のオンライン学習設定において、安定性とレグレットの間の一般的な関係を確立すること。
• バッチ学習におけるERMに類似した、オンラインの敵対的設定における標準的な学習スキームの欠如に対処すること。
• 安定性とフォワードレグレットを用いて、既存のオンラインアルゴリズムのレグレット解析を簡略化する枠組みを開発すること。
• 最適化がわずかな誤差まで解かれる近似版のオンラインアルゴリズムのレグレットを分析すること。
• 近似計算が、正則化や摂動と同様に、オンライン学習における安定性の源として機能するかどうかを検討すること。

提案手法

• オンライン安定性を「最後のデータを除く」性質として定義し、最新の損失関数に対する感度を測定する。
• 学習者が現在の損失を決定を下す前に観測する場合のレグレット（1ステップ先読み）としてフォワードレグレットを導入する。
• 安定性のもとで、有界なフォワードレグレットが有界なレグレットと同値であり、有界なレグレットが存在するならば、有界なフォワードレグレットを持つ安定なアルゴリズムが存在することを証明する。
• 損失関数の強い凸性とリプシッツ連続性を用いて、安定性とフォワードレグレットの境界を導出する。
• FTRL、IOL、RDA、COMiDを安定性とフォワードレグレットのトレードオフを用いて解析し、レグレット境界を導出する。
• 各ステップでの誤差を精度パラメータ δt を用いてバウンディングすることで、近似版のアルゴリズムを解析し、適切な δt の減少率のもとで非線形レグレットが達成可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸性の仮定なしに、一般のオンライン学習設定において、安定性とフォワードレグレットを用いて有界なレグレットを特徴づけられるか？
• RQ2 安定性のもとで、多様なオンラインアルゴリズムに一般に適用可能な、有界なレグレットと有界なフォワードレグレットの間の同等性が存在するか？
• RQ3 提案された安定性－レグレット枠組みは、FTRL や IOL といった代表的なアルゴリズムの既存のレグレット解析を簡略化し、より緊密にできるか？
• RQ4 最適化の精度レベル（δt）がどの程度で、近似版のオンラインアルゴリズムが正確版と同等のレグレット境界を維持できるか？
• RQ5 近似計算そのものが、正則化と同様に、オンライン学習における安定化要因として機能するか？

主な発見

• 安定性のもとで、非凸設定であっても、任意のオンライン学習アルゴリズムについて、有界なフォワードレグレットが有界なレグレットと同値である。
• 有界なレグレットを持つ任意のアルゴリズムは、有界なレグレットと有界なフォワードレグレットを両方満たす安定なアルゴリズムに変換可能である。
• FTRL、IOL、RDA、COMiDのレグレット解析が、この枠組みによって簡略化され、一部のケースでは従来の手法よりも緊密な境界が得られている。
• IOL において近似最適化を適用する場合、δt = 1/t とするとレグレット R_T = O(L√D T^{3/4}) が得られ、δt = 1/t² とすると R_T = ~O(L√D T^{1/2}) が得られ、対数因子を含む。
• 解析により、最適化誤差 δt が十分に速く減少する（例：δt = 1/t または 1/t²）場合、近似アルゴリズムでも非線形レグレットが達成可能であることが示された。
• この枠組みは、最適化が正確に解かれていない場合でも、近似計算そのものが安定性の源となり得ることを示しており、レグレット保証を可能にする。