[論文レビュー] Information Directed Sampling for Linear Partial Monitoring

Johannes Kirschner, Tor Lattimore+1 more|arXiv (Cornell University)|Feb 25, 2020

Advanced Bandit Algorithms Research参考文献 47被引用数 7

ひとこと要約

本稿では、報酬が観測されないが観測値と線形に関連する線形部分監視の文脈において、情報指向サンプリング（IDS）アルゴリズムを導入する。この手法は、レギュレートと情報利得のバランスを適応的にとることで、ハイパーパramータのチューニングなしに、4つの異なるミニマックスレギュレートの領域において、対数要因を除いてほぼ最適なレギュレートレートを達成する。

ABSTRACT

Partial monitoring is a rich framework for sequential decision making under uncertainty that generalizes many well known bandit models, including linear, combinatorial and dueling bandits. We introduce information directed sampling (IDS) for stochastic partial monitoring with a linear reward and observation structure. IDS achieves adaptive worst-case regret rates that depend on precise observability conditions of the game. Moreover, we prove lower bounds that classify the minimax regret of all finite games into four possible regimes. IDS achieves the optimal rate in all cases up to logarithmic factors, without tuning any hyper-parameters. We further extend our results to the contextual and the kernelized setting, which significantly increases the range of possible applications.

研究の動機と目的

• 観測されない報酬を伴う確率的線形部分監視のためのハイパーパramータフリーなアルゴリズムを開発すること。
• 観測可能性条件に基づいて、有限行動ゲームのミニマックスレギュレートを4つの明確に異なる領域に分類すること。
• IDSフレームワークを文脈的およびカーネル化された設定に拡張し、より広範な適用可能性を実現すること。
• 既知の下界と対数要因を除いて一致するタイトなレギュレートバウンドを確立すること。
• グローバルおよびローカルな観測可能性が、学習の根本的な難易度をどのように決定するかを特定すること。

提案手法

• 行動選択における期待レギュレートと情報利得のバランスを取るために、情報比の最小化を用いる。
• 各行動について、保守的なギャップ推定値 $\Delta_t(x) \geq \langle x^*-x,\theta\rangle$ と情報利得 $I_t(x)$ を構築する。
• 期待値 $\mathbb{E}_\mu[\Delta_t(x)]^2 / \mathbb{E}_\mu[I_t(x)]$ を最小化する分布 $\mu_t$ を用いて行動を選択する。
• サブガウスノイズの仮定と集中不等式を用いて推定誤差を制御する。
• ブレタニョール＝フーベルおよびKLダイバージェンスに基づく議論を用いて、レギュレートの下界を導出する。
• 特徴空間の一般化とカーネル化されたパramータ推定を用いて、文脈的およびカーネル化された設定へのフレームワークの拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 有限行動線形部分監視ゲームの根本的ミニマックスレギュレートレートは何か？
• RQ2 グローバルおよびローカルな観測可能性条件は、達成可能なレギュレートレートにどのように影響するか？
• RQ3 IDSは、すべての観測可能性領域においてハイパーパramータのチューニングなしに最適なレギュレートを達成できるか？
• RQ4 無限行動または曲がった行動集合の設定では、レギュレートはどのようにスケーリングするか？
• RQ5 情報比は、部分監視における探索と活用のバランスを取るために果たす役割は何か？

主な発見

• 有限行動線形部分監視ゲームのミニマックスレギュレートは、観測可能性に応じて4つの領域に分類される：$0$、$\tilde{\Theta}(n^{1/2})$、$\tilde{\Theta}(n^{2/3})$、または $\Omega(n)$。
• IDSは、ハイパーパramータのチューニングなしに、4つの領域すべてで最適なレギュレートレートを達成する（対数要因を除いて）。
• グローバルに観測可能なゲームでは、ミニマックスレギュレートは $\tilde{\Theta}(n^{2/3})$ であり、IDSはこのレートを再現する。
• ローカルに観測可能なゲームでは、ミニマックスレギュレートは $\tilde{\Theta}(n^{1/2})$ であり、IDSはこのレートに達する。
• 非ローカルに観測可能なゲームでは、IDSは $\tilde{O}(n^{2/3})$ のレギュレートを達成し、対数要因を除いて下界と一致する。
• IDSアルゴリズムは、文脈的およびカーネル化された設定に一般化可能であり、近似的に最適なレギュレート性能を維持する。