[論文レビュー] Prediction with Expert Advice under Discounted Loss

Alexey Chernov, Fedor Zhdanov|arXiv (Cornell University)|May 11, 2010

Advanced Bandit Algorithms Research参考文献 19被引用数 5

ひとこと要約

本稿は、過去の損失に時間に依存する割引係数を用いて重み付けする割引累積損失の下で、オンライン予測における専門家アドバイスの一般化されたフレームワークを導入する。過去の損失に時間に依存する割引係数を用いて重み付けする割引累積損失の下で、オンライン予測における専門家アドバイスの一般化されたフレームワークを導入する。本稿は指数的加重平均アルゴリズムの新規変種を提案し、累積割引損失に対するタイトなバウンドを証明する。古典的結果を非指数的割引に拡張し、非定常環境における適応的学習を可能にする。

ABSTRACT

We study prediction with expert advice in the setting where the losses are accumulated with some discounting---the impact of old losses may gradually vanish. We generalize the Aggregating Algorithm and the Aggregating Algorithm for Regression to this case, propose a suitable new variant of exponential weights algorithm, and prove respective loss bounds.

研究の動機と目的

• 過去の損失に対する一般化された時間依存的割引を許容する、古典的な専門家アドバイスによる予測フレームワークの拡張。
• 割引損失設定に適した新しい指数的加重平均アルゴリズムの変種の開発。
• 非一様な割引を扱えるように、集約アルゴリズム（Aggregating Algorithm）およびその回帰版の一般化。
• すべての時間ステップ T に対して成り立つ、一様で時間不変の累積割引損失のバウンドの確立。
• 学習者が変化する最良の専門家に適応できるように、戦略的割引パターン（例：大部分の t で αt ≈ 1、重要な瞬間で αt ≪ 1）を許容することによる適応性の向上。

提案手法

• 時間依存する割引係数 αt ∈ (0,1] を用いる一般化されたオンライン予測プロトコル（Protocol 1）を導入。
• 累積割引損失を Lt = αt−1Lt−1 + λ(γt, ωt) として定義。ここで αt−1 は過去の損失の重みを減少させる。
• 損失の増加が有界であることを保証する潜在関数を用いた防御的予測に基づく新しい予測戦略を提案。
• 損失関数と専門家の予測を含む固定点方程式を導出し、明示的な更新規則を導出。
• 二乗損失および回帰設定への適用により、二乗損失の場合の閉形式の予測規則を導出。
• 対数および指数変換を用いて、凹性および凸性の性質を活用して期待損失のバウンドを導出。

実験結果

リサーチクエスチョン

• RQ1 標準的な専門家アドバイスによる予測フレームワークは、時間に依存する過去の損失の割引を許容するようにどのように一般化できるか？
• RQ2 固定された T でのみ性能が保証されるのではなく、一般の割引に対してすべての時間ステップ T で一様に有界な損失保証が達成可能か？
• RQ3 割引損失下での最適な予測戦略の構造は何か？ また、その戦略はどのように効率的に計算できるか？
• RQ4 幾何的または適応的割引パターンのような非指数的割引に対して、新しいアルゴリズムはどのように動作するか？
• RQ5 理論的保証を維持したまま、回帰および連続的出力空間への拡張は可能か？

主な発見

• 本稿は、一般の割引に対して最適であり、累積割引損失が有界である新しい指数的加重平均アルゴリズムの変種を確立した。
• すべての時間ステップ T に対して成り立つ一様な損失バウンドを証明した。これは、従来の結果が事前に指定された T のみで性能を保証するのとは対照的である。
• 二乗損失の場合、閉形式の予測規則を導出した：γ = (Y₁ + Y₂)/2 − (g(Y₂) − g(Y₁))/(2(Y₂ − Y₁))、ここで g は専門家の損失の重み付き平均である。
• フレームワークは、αt ≈ 1（大多数の t で）かつ αt ≪ 1（重要な瞬間で）となるような戦略的割引を許容し、学習者が「再起動」して変化する最良の専門家に適応できる。
• 防御的予測と凸性の議論を用いて理論的保証を導出し、提案戦略下で期待損失が有界のまま保たれることを示した。
• 本手法は、集約アルゴリズムおよびその回帰版を割引損失設定に一般化し、最適性の性質を保持した。