[論文レビュー] A Second-order Bound with Excess Losses

Pierre Gaillard, Gilles Stoltz+1 more|arXiv (Cornell University)|Feb 10, 2014

Advanced Bandit Algorithms Research参考文献 24被引用数 52

ひとこと要約

本稿では、過剰損失を組み込んだオンライン学習における2次順序の境界を提示し、重み更新ルールに二乗損失を組み込むことで、レジレット解析を改善する。帰納法を用いて累積重みの対数の下界を導出し、レジレットが即時のレジレットと分散項の組み合わせによって制御されることを示す。これにより、敵対的環境下での性能保証が厳しくなる。

ABSTRACT

We study online aggregation of the predictions of experts, and first show new second-order regret bounds in the standard setting, which are obtained via a version of the Prod algorithm (and also a version of the polynomially weighted average algorithm) with multiple learning rates. These bounds are in terms of excess losses, the differences between the instantaneous losses suffered by the algorithm and the ones of a given expert. We then demonstrate the interest of these bounds in the context of experts that report their confidences as a number in the interval [0,1] using a generic reduction to the standard setting. We conclude by two other applications in the standard setting, which improve the known bounds in case of small excess losses and show a bounded regret against i.i.d. sequences of losses.

研究の動機と目的

• 過剰損失と二乗損失を分析に組み込むことで、オンライン学習アルゴリズムのよりタイトなレジレット境界を開発すること。
• 損失の分散を考慮する2次項を導入することで、標準のレジレット解析を拡張すること。
• 累積重みの対数の精密な下界を導出することで、敵対的環境下での性能保証を向上させること。
• 即時のレジレットの二乗に依存する項を含めることで、重み更新ルールを一般化すること。

提案手法

• 本手法は、重み更新ルールを段階的に分析することで、累積重みの対数 ln W_T に対する下界を帰納法で導出する。
• 即時のレジレット r_{k,s} = ℓ̂_s - ℓ_{k,s} を、時刻 s における学習者の損失と専門家の損失の差として定義する。
• 時間に依存する学習率 η_{k,t} と、η_{k,s-1} r_{k,s}^2 を含む補正項を組み込むことで、2次効果を反映する。
• 帰納的ステップは、アルゴリズムの重み更新ルールに依存しており、累積レジレットと二乗損失に基づいて専門家の重みを調整する。
• 分析は、対数的重み増加と時間経過に伴う重み付きレジレットおよび二乗損失の和を結びつける。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習における損失の分散を考慮する2次順序のレジレット境界を導出できるか？
• RQ2 重み更新に二乗損失を組み込むことで、レジレット保証はどのように向上するか？
• RQ3 時間に依存する学習率は、対数的重みの成長を制御するために果たす役割は何か？
• RQ4 線形および二次のレジレット項を含む ln W_T に対する帰納的下界を確立できるか？

主な発見

• 帰納法により ln w_{k,t} の下界が確立され、これは重み付きレジレットおよび分散項の和よりも速やかに増加することが示された。
• 初期重みに影響を保つために、η_{k,t}/η_{k,0} を含む補正因子が含まれる。
• 分析により、2次項 η_{k,s-1} r_{k,s}^2 が累積重みの成長を制御し、よりタイトなレジレット制御を実現することが明らかになった。
• 2次効果を含むことで、標準の1次順序レジレット境界が一般化され、敵対的環境下での性能が向上した。