[論文レビュー] Strongly Adaptive Online Learning

Amit Daniely, Alon Gonen+1 more|arXiv (Cornell University)|Feb 25, 2015

Advanced Bandit Algorithms Research参考文献 13被引用数 9

ひとこと要約

本稿では、任意の低リグレットを持つ標準的なオンライン学習アルゴリズムを、任意の時間区間でほぼ最適な性能を達成する強力な適応性を持つアルゴリズムに変換する一般化された還元手法を導入する。この手法により、任意の区間におけるリグレットは元のアルゴリズムのリグレットの対数的要因以内に抑えられ、変化する環境への効率的な適応が可能になる。特に、エキスパートアドバイスやオンライン凸最適化の問題において、これが有効に機能する。

ABSTRACT

Strongly adaptive algorithms are algorithms whose performance on every time interval is close to optimal. We present a reduction that can transform standard low-regret algorithms to strongly adaptive. As a consequence, we derive simple, yet efficient, strongly adaptive algorithms for a handful of problems.

研究の動機と目的

• 時間の経過に伴い最適戦略が変化する環境において、迅速に適応できるオンライン学習アルゴリズムの設計という課題に取り組む。
• 全期間にわたり固定戦略に対して評価する従来のリグレット分析の制限を克服する。
• 変化点の事前知識がなくても、すべての時間区間で最適に近い性能を達成できる強力な適応性を保証する一般化されたフレームワークを開発する。
• 強力な適応性が、広範なオンライン学習問題のクラスにおいて達成可能であることを理論的に示す。
• 強力な適応性が、[8]で定義された追跡リグレットや適応的リグレットといった弱い適応性の概念を包含し、それらを改善することを示す。

提案手法

• ブラックボックスとしてのオンライン学習アルゴリズムをサブルーチンとして用いるメタアルゴリズムを提案し、強力な適応性を持つ学習者を構築する。
• 各ラウンドで、候補戦略の集合を維持し、時間区間ごとの過去のパフォーマンスに基づいて重み付き多数決方式の更新を用いて行動を選択する。
• 各ラウンドあたりの実行時間がベースアルゴリズムの O(log t) 倍に抑えられるように、対数的時間集約スキームを適用する。
• すべての時間区間の性能保証を維持するため、再帰的な区間分解を用いる。
• ベースアルゴリズムのリグレット境界 R(T) を用いて、強力な適応性を持つバージョンにおける任意の長さ τ の区間 I におけるリグレット境界を、おおよそ R(τ) に導出する。
• 強力な適応性の性質を、時間区間 I におけるリグレットが、全期間 T に依存しない関数（|I| の関数に近く）で有界であることに定式化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なオンライン学習アルゴリズムを、すべての時間区間で良好に動作する強力な適応性を持つものに体系的に変換することは可能か？
• RQ2 強力な適応性を達成する際の、計算コストとリグレット境界における最小限のオーバーヘッドは何か？
• RQ3 強力な適応性は、既存の概念（例：追跡リグレット、[8]における適応的リグレット）と比較してどのように異なるか？
• RQ4 バンディットフィードバック（損失値のみ観測可能）の下でも、強力な適応性は達成可能か？
• RQ5 部分的フィードバックにおけるオンライン学習で、強力な適応性を達成する際の根本的制限は何か？

主な発見

• 提案された還元手法により、リグレットが R(T) である任意の標準的なオンライン学習アルゴリズムが、任意の長さ τ の時間区間 I において、リグレットが O(R(τ) + log T) 以内に抑えられる強力な適応性を持つアルゴリズムに変換可能であり、すべての区間でほぼ最適なパフォーマンスを達成する。
• 得られる強力な適応性を持つアルゴリズムの実行時間は、各ラウンド t でベースアルゴリズムの O(log t) 倍に抑えられ、効率的である。
• 強力な適応性は、従来の概念を包含・改善する：強力な適応性を持つアルゴリズムは、[8]の意味での適応的であると同時に、[9]で定義されたほぼ最適な追跡リグレットを達成する。
• オンライン凸最適化やエキスパートアドバイスの問題において、この還元手法により、タイトなリグレット境界を持つ効率的な強力な適応性を持つアルゴリズムが得られる。
• バンディットフィードバックでは強力な適応性は達成不可能である：本稿では、任意の ε > 0 に対して、強力な適応性リグレットが O(τ^{1−ε} poly(log T)) よりも良くならないことを証明している。
• 矛盾による下界が確立されている：もしもそのようなリグレット境界を持つアルゴリズムが存在すれば、最適でない行動を頻繁に選択せざるを得ず、全体のリグレット制約に反する。