[論文レビュー] Online Learning in Case of Unbounded Losses Using the Follow Perturbed Leader Algorithm

Vladimir V. V’yugin|arXiv (Cornell University)|Aug 25, 2010

Advanced Bandit Algorithms Research参考文献 19被引用数 3

ひとこと要約

本稿では、過去のエキスパートの損失に基づく適応的重みを用いて、無限大に発散する1ステップ損失を持つオンライン学習のための修正されたフォロー・ザ・パーテューブド・リーダー（FPL）アルゴリズムを提案する。新しいスケーリングされたフラクチュエーションの概念に基づき、最適な性能保証を確立し、フラクチュエーションが0に収束する場合には、損失に事前の有界性がない場合でもハナンの一致性を証明する。

ABSTRACT

In this paper the sequential prediction problem with expert advice is considered for the case where losses of experts suffered at each step cannot be bounded in advance. We present some modification of Kalai and Vempala algorithm of following the perturbed leader where weights depend on past losses of the experts. New notions of a volume and a scaled fluctuation of a game are introduced. We present a probabilistic algorithm protected from unrestrictedly large one-step losses. This algorithm has the optimal performance in the case when the scaled fluctuations of one-step losses of experts of the pool tend to zero.

研究の動機と目的

• エキスパートの損失が有界でないという状況は、標準的なエキスパートアドバイスフレームワークでしばしば除外されるが、そのギャップを埋める。
• 個々の損失が事前に有界でない場合でも、依然として有効な学習アルゴリズムを構築する。
• 無限大の損失を伴う逐次的予測ゲームの複雑さを特徴付けるために、ゲーム理論的新たな概念「ボリューム」と「スケーリングされたフラクチュエーション」を導入する。
• 特に、スケーリングされたフラクチュエーションが0に近づく場合に限り、最適な性能保証（ハナンの一致性）を達成する。
• 期待される累積損失が、後悔の観点から最良のエキスパートに近づくように保証する確率的アルゴリズムを提供する。この場合、損失の成長が無限大に発散する場合でも有効である。

提案手法

• 古典的なFPLアルゴリズムを修正し、エキスパートの歴史的累積損失に依存する重みを導入することで、固定された摂動を置き換える。
• 時間的に変化するスケール関数に対する損失のばらつきを相対的に測る指標として、ゲームのスケーリングされたフラクチュエーションを定義し、無限大に発散する損失のもとでも解析可能にする。
• エキスパート損失のダイナミクスに基づき、予測問題の有効な複雑さを定量化するための「ゲームのボリューム」の概念を導入する。
• 指数分布に従う独立同分布のノイズを用いた確率的摂動機構を採用するが、観測された損失パターンに応じて学習率を動的に適応させる。
• コルモゴロフの三系列定理とクロネッカーの補題を用いて、正規化された損失差のほとんど確実な収束を証明し、長期的な一貫性を保証する。
• スケーリングされたフラクチュエーションの減少に応じて動的に調整できるように設計されたアルゴリズムPROT（Perturbed Regularized Tracker）を提案し、最適なレジレットバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 1ステップ損失が無限大に発散し、事前に束縛されない場合でも、フォローザ・パーテューブド・リーダー（FPL）アルゴリズムが最適なレジレットバウンドを維持できるか？
• RQ2 有界性の仮定を超えて、無限大の損失を伴うオンライン予測の難易度を特徴付けるゲーム理論的指標は何か？
• RQ3 エキスパート損失のスケーリングされたフラクチュエーションが0に近づく場合、ハナンの一貫性は達成可能か？
• RQ4 損失の有界性や成長率に関する事前知識が得られない状況でも、適応的学習率戦略が最適な性能を保証できるか？
• RQ5 ゲームのボリュームとスケーリングされたフラクチュエーションが、オンライン学習アルゴリズムの収束性と性能に果たす役割は何か？

主な発見

• 提案されたアルゴリズムは、$ E(s_{1:t}) \nleq \min_i s^i_{1:t} + \frac{\log N}{\epsilon} $ の期待累積損失バウンドを達成し、$ \epsilon $ は観測された損失のフラクチュエーションに応じて適応的に選択される。
• スケーリングされたフラクチュエーション $ \text{fluc}(t) \to 0 $ のとき、アルゴリズムはハナンの一貫性を示し、学習者の平均損失が後悔の観点から最良のエキスパートの損失に収束する。
• $ \limsup_{t\to\infty} \frac{\text{fluc}(t)}{\gamma_i(t)} < \infty $ を満たすある $ i $ に対して、ゲームにおいてアルゴリズムは平均に関して漸近的に一貫性を示すことが証明されている。この場合、$ \gamma_i(t) $ が事前に不明であっても成立する。
• 適応的重みと動的学習率の使用により、多項式より速く、指数関数より遅い速度で損失が増加する場合にも対応可能である。
• 理論的枠組みとして、ゲームのボリュームとスケーリングされたフラクチュエーションを新たな主要指標として導入し、損失の有界性を仮定しない性能解析を可能にする。
• 証明はコルモゴロフの三系列定理とクロネッカーの補題に依拠し、正規化された損失差のほとんど確実な収束を確立することで、長期的な安定性と一貫性を保証する。