[論文レビュー] Simple Regret Minimization for Contextual Bandits

Aniket Anand Deshmukh, Srinagesh Sharma+3 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Bandit Algorithms Research参考文献 35被引用数 14

ひとこと要約

本論文は、フィードバックが利用できない純粋な活用段階に先行する純粋な探索段階を持つ文脈的バンディットにおける単純な後悔最小化のための新しいアルゴリズム、Contextual-Gap を提案する。この手法は信頼区間と文脈的UCBスタイルの選択を用いて、活用段階における後悔を最小化し、合成的および実世界の宇宙船センサ選択タスクにおいて、累積後悔最小化ベースラインと比較して顕著な改善を達成し、最先端の性能を実現する。

ABSTRACT

There are two variants of the classical multi-armed bandit (MAB) problem that have received considerable attention from machine learning researchers in recent years: contextual bandits and simple regret minimization. Contextual bandits are a sub-class of MABs where, at every time step, the learner has access to side information that is predictive of the best arm. Simple regret minimization assumes that the learner only incurs regret after a pure exploration phase. In this work, we study simple regret minimization for contextual bandits. Motivated by applications where the learner has separate training and autonomous modes, we assume that the learner experiences a pure exploration phase, where feedback is received after every action but no regret is incurred, followed by a pure exploitation phase in which regret is incurred but there is no feedback. We present the Contextual-Gap algorithm and establish performance guarantees on the simple regret, i.e., the regret during the pure exploitation phase. Our experiments examine a novel application to adaptive sensor selection for magnetic field estimation in interplanetary spacecraft, and demonstrate considerable improvement over algorithms designed to minimize the cumulative regret.

研究の動機と目的

• 実世界の展開シナリオにおいて、累積後悔ではなく単純後悔に焦点を当てた既存の文脈的バンディットアルゴリズムのギャップを埋める。
• フィードバックが活用段階中に得られない、明確に分離された訓練（探索）段階と自律的（活用）段階を持つシステムのための実用的アルゴリズムを開発する。
• 固定予算フレームワークにおける文脈的バンディットの単純後悔に関する理論的性能バウンドを確立する。
• 新しい応用分野である、深宇宙探査機のための適応的磁力計選択にアルゴリズムを検証する。

提案手法

• Contextual-Gapアルゴリズムは、文脈的バンディットに特化した上側信頼区間（UCB）を用い、各アームの信頼区間は履歴的な報酬と文脈に基づいて更新される。
• 各アームの報酬関数推定にカーネルベースの回帰モデルを採用し、信頼区間の幅はカーネル行列の逆行列と正則化から導出される。
• 探索段階では、上側信頼区間が最大のアームを選択することで、潜在的に最適なアームの十分なサンプリングを保証する。
• 探索終了後、追加のフィードバックなしに、報酬の推定値が最大のアームを選択して活用段階を実行する。
• 理論的分析では、自己随伴作用素に対するFreedmanの不等式と単調な信頼区間幅のバウンドを用いて、単純後悔の保証を導出する。
• ランク1更新を用いたオンライン更新が可能であり、中程度のサイズのデータセットに対してスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 探索段階と活用段階が明確に分離された環境において、累積後悔ではなく単純後悔を最小化する文脈的バンディットアルゴリズムを設計できるか？
• RQ2 固定予算フレームワークにおける文脈的バンディットの単純後悔に対して、どのような理論的性能保証を確立できるか？
• RQ3 宇宙船センサ選択のような実世界の応用において、提案されたContextual-Gapアルゴリズムは累積後悔最小化ベースラインと比較してどのように異なるか？
• RQ4 カーネル化された関数推定を用いた文脈的UCBは、一様サンプリングやエプソングリーディ戦略と比較して、より優れた活用性能を示すか？

主な発見

• 宇宙船磁力計データセットにおいて、Contextual-Gapは一様サンプリング、エプソングリーディ、Kernel-UCB、Kernel-UCB-Mod、Kernel-TSの5つのベースラインと比較して、平均的な単純後悔の観点で顕著に優れている。
• ハイパーパramータ α（0.1、0.5、2）の異なる値に対しても一貫した性能を維持しており、評価の全般で α=1 のチューニング済みパラメータが使用されている。
• 最悪ケースの単純後悔分析では、すべての活用時間ステップにおいて、Contextual-Gapが最大後悔を低く抑えていることが確認され、そのロバストネスが裏付けられた。
• 1つの観測ではなく過去25件の履歴を用いた実験では、性能の低下が最小限に抑えられ、安定性とスケーラビリティが示された。
• 理論的分析により、Contextual-Gapの単純後悔が有界であることが証明され、主要な補題はFreedmanの不等式と単調な信頼区間幅の制御に依存している。
• 非i.i.d.な実世界データセットにおいて、State-of-the-artの性能を達成し、フィードバックが展開段階で得られない自律システムにおける実用的妥当性を示した。