[論文レビュー] Towards Minimax Online Learning with Unknown Time Horizon

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|Jul 31, 2013

Advanced Bandit Algorithms Research参考文献 28被引用数 14

ひとこと要約

本稿では、未知の時間枠を想定したオンライン学習のためのミニマックスに基づく適応的アルゴリズムを提案する。ランダムな時間枠モデルを活用することで、実際の時間枠にかかわらず最適な最悪ケースのリグレットを維持する戦略を導出する。時間枠を特別な確率分布族から確率的に選ぶものとみなすことにより、リセットを伴わず、既存の手法（例えば倍増テクニック）を凌駕する性能を達成し、実験でも優れた結果を示した。

ABSTRACT

We consider online learning when the time horizon is unknown. We apply a minimax analysis, beginning with the fixed horizon case, and then moving on to two unknown-horizon settings, one that assumes the horizon is chosen randomly according to some known distribution, and the other which allows the adversary full control over the horizon. For the random horizon setting with restricted losses, we derive a fully optimal minimax algorithm. And for the adversarial horizon setting, we prove a nontrivial lower bound which shows that the adversary obtains strictly more power than when the horizon is fixed and known. Based on the minimax solution of the random horizon setting, we then propose a new adaptive algorithm which "pretends" that the horizon is drawn from a distribution from a special family, but no matter how the actual horizon is chosen, the worst-case regret is of the optimal rate. Furthermore, our algorithm can be combined and applied in many ways, for instance, to online convex optimization, follow the perturbed leader, exponential weights algorithm and first order bounds. Experiments show that our algorithm outperforms many other existing algorithms in an online linear optimization setting.

研究の動機と目的

• 時間枠が未知であるオンライン学習を、ゲーム理論的ミニマックス枠組みで扱う。
• 時間枠が事前に分かっていない状況でも最適なリグレット性能を維持する戦略を開発する。
• 繰り返しリセットと情報損失を引き起こすため非効率である倍増テクニックの限界を克服する。
• 時間枠を制御する敵対的要因が、固定時間枠設定と比較して、より強い力を発揮することを示し、最適リグレットが厳密に高くなることを証明する。
• 特定の分布族からのランダムな時間枠を仮定することで、あらゆる時間枠に対して一貫して良好に動作する実用的な適応的アルゴリズムを提案する。

提案手法

• 基底ベクトル損失空間における固定時間枠設定下でのミニマックス最適戦略を導出する。
• ミニマックス分析をランダム時間枠設定に拡張し、最適戦略が固定時間枠戦略の条件付き期待値であることを示す。
• 時間枠が特別な分布族から選ばれるものと仮定する新しい適応的アルゴリズムを提案するが、実際の時間枠にかかわらず最適な最悪ケースのリグレットを達成する。
• 時間枠が敵対的に選ばれた場合でも、アルゴリズムのリグレットが最適なオーダー O(√T ln N) であることを証明する。
• 従来の手法（例：フォローザ・ペチューブド・リーダ、指数的重み、オンライン凸最適化）と本手法を組み合わせる。
• 無限大のリグレットを防ぐために、敵対的時間枠設定下での性能指標としてスケーリング済みリグレットを用いる。

実験結果

リサーチクエスチョン

• RQ1 時間枠が未知で敵対的に選ばれる状況において、ミニマックス戦略を導出できるか？
• RQ2 敵対的時間枠設定下での最適リグレットは何か？ また、固定時間枠設定との比較においてどうなるか？
• RQ3 特定の分布族からのランダム時間枠を仮定することで、あらゆる実際の時間枠においても良好に動作するミニマックス最適戦略が得られるか？
• RQ4 提案されたアルゴリズムは、Hedge問題を越えた他のオンライン学習設定へ一般化可能か？
• RQ5 提案されたアルゴリズムは、倍増テクニックなどの既存の適応的手法と比較して、実験的にどのように性能を発揮するか？

主な発見

• ランダム時間枠設定下でのミニマックス戦略は、固定時間枠ミニマックス戦略の条件付き期待値に等しく、このモデル下で完全に最適な解を提供する。
• 敵対的時間枠設定下では、固定時間枠設定よりも最適リグレットが厳密に大きくなることが証明され、敵対的要因が追加の力を発揮することが示された。
• 提案された適応的アルゴリズムは、実際の時間枠がどのように選ばれても、最悪ケースのリグレットが最適なオーダー O(√T ln N) に保たれ、敵対的に制御された場合でも同様に成立する。
• オンライン線形最適化の実験において、既存手法（例：倍増テクニック）を凌駆し、より低いリグレットを達成した。
• 本手法は一般性に富み、指数的重み、フォローザ・ペチューブド・リーダ、および一次のリグレットバウンドと組み合わせ可能である。
• 最良のアクションの損失に関する未知の情報に対してもロバストであり、一次のリグレットバウンドを実現可能である。