[論文レビュー] Adaptive Online Prediction by Following the Perturbed Leader

Marcus Hütter, Jan Poland|ArXiv.org|Apr 11, 2005

Advanced Bandit Algorithms Research参考文献 17被引用数 113

ひとこと要約

本稿は、オンライン予測における専門家アドバイスの文脈で、Follow the Perturbed Leader (FPL) アルゴリズムの適応的学習率版を導入し、任意の専門家重みと適応的敵対的環境に対しても、単純で洗練されたレジレット解析を可能にする。可算専門家クラスに対して一般重みを用いた場合、最良の既知の結果と一致する $√{kL}$ の最適なレジレットバウンドを達成し、階層的FPL拡張を用いて、任意重みに対する適応的学習率のための最初のこのようなバウンドを提供する。

ABSTRACT

When applying aggregating strategies to Prediction with Expert Advice, the learning rate must be adaptively tuned. The natural choice of sqrt(complexity/current loss) renders the analysis of Weighted Majority derivatives quite complicated. In particular, for arbitrary weights there have been no results proven so far. The analysis of the alternative "Follow the Perturbed Leader" (FPL) algorithm from Kalai & Vempala (2003) (based on Hannan's algorithm) is easier. We derive loss bounds for adaptive learning rate and both finite expert classes with uniform weights and countable expert classes with arbitrary weights. For the former setup, our loss bounds match the best known results so far, while for the latter our results are new.

研究の動機と目的

• 可算専門家クラスに適用可能な、任意の重みを有するオンライン予測における適応的学習率チューニングの課題に取り組むこと。
• Weighted Majority型手法において特に複雑であるとされる、適応的学習率アルゴリズムのレジレット解析を単純化すること。
• 従来の研究が均一な重みや有限の専門家に制限するのに対し、一般重みと適応的敵対的環境に対しても性能保証を拡張すること。
• 階層的FPL構成を用いて、任意重みと適応的学習率を有するFPLに対する、初めての損失バウンドを確立すること。
• FPLの性能をベイジアン予測や他のアルゴリズムと比較し、特にレジレットバウンドにおける主要定数の観点から検討すること。

提案手法

• 現在の累積損失と専門家複雑度の逆平方根に基づく適応的学習率戦略をFPLに提案し、損失や複雑度の事前知識がなくても動的適応が可能になる。
• 任意重みに対して最適な $√{kL}$ レジレットバウンドを達成するための階層的FPL変種を導入し、標準的FPLでは緩い $k\sqrt{L}$ バウンドにとどまってしまうのを回避する。
• 上界を導出するための理論的ベンチマークとして、不実行可能なFPL（IFPL）を用い、そのレジレット上界を実行可能なFPLアルゴリズムに移転する。
• 摂動に基づく予測を採用：各時刻において、過去の損失と特定の分布（例：ラプラス分布やガブリエル分布）から抽出されたランダム摂動の和を最小化する専門家を選択する。
• 実行可能FPLと不実行可能FPL予測子の差を分析することで、期待値および高確率の両方のレジレットバウンドを導出する。
• ダブリングテクニックと自己信頼性のある学習率選択を用いて、損失や複雑度の事前知識がなくても適応的性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 可算専門家クラスに任意重みを有するFPLは、適応的学習率を用いて最適な $√{kL}$ レジレットバウンドを達成できるか？
• RQ2 適応的FPLの性能は、Weighted MajorityやHedgeアルゴリズムと比較して、主要定数および適応性の観点でどう異なるか？
• RQ3 適応的敵対的環境下でFPLが達成可能な最小のレジレットは何か？ また、ベイジアン予測のバウンドと一致できるか？
• RQ4 階層的FPL構成は、一般重みを有するFPLに一般化する際に、タイトなレジレットバウンドを維持できるか？
• RQ5 FPLに適応的学習率を適用した場合、$√{kL}$ バウンドはタイトか？ それとも、より大きな定数が避けられないか？

主な発見

• 本稿は、階層的FPL構成を用いて、適応的学習率と任意専門家重みを有するFPLに対する、$O(\sqrt{kL})$ のレジレットバウンドを初めて確立した。
• 有限専門家クラスに均一重みを適用した場合、FPLアルゴリズムは $O(\sqrt{kL})$ のレジレットバウンドを達成し、静的学習率を用いた既知の最良結果と一致する。
• 階層的FPL変種は、非階層的FPLの $k\sqrt{L}$ から $\sqrt{kL}$ にまでバウンドを改善し、一般重みを有する最適性能を達成するための階層構造の必要性を示している。
• FPLにおける適応的学習率の解析は、Weighted Majority型手法と比較して著しく単純かつ洗練されており、自己信頼性のある学習率選択の証明は半ページ未満で完了する。
• レジレットバウンドの主要定数はFPLで2であり、Hedgeアルゴリズムの $\sqrt{2}$ よりも悪くないが、WM型アルゴリズムの最良既知の動的バウンドと一致する。
• FPLのバウンドは、真のシーケンスが既知の専門家によって生成されるという仮定がなくても、ベイジアン予測バウンドと同等の漸近的順序と、非常に近い最適な主要定数を持つ。