[論文レビュー] Graphical Models for Bandit Problems

Kareem Amin, Michael Kearns+1 more|arXiv (Cornell University)|Feb 14, 2012

Advanced Bandit Algorithms Research参考文献 13被引用数 12

ひとこと要約

本論文は、文脈と行動空間の両方が高次元的かつ構造的である場合に、大規模なマルチアームド・バンディット問題に対して効率的な学習を可能にする、新しいクラスのグラフィカル・モデルを導入する。提案されたアルゴリズムは、モデルのパラメータ数に比例したレグレットで抑えられ、行動に起因するグラフ構造のツリーウェイドスにのみ依存する実行時間で動作するため、複雑な意思決定環境におけるスケーラブルで効率的な探索が可能である。

ABSTRACT

We introduce a rich class of graphical models for multi-armed bandit problems that permit both the state or context space and the action space to be very large, yet succinctly specify the payoffs for any context-action pair. Our main result is an algorithm for such models whose regret is bounded by the number of parameters and whose running time depends only on the treewidth of the graph substructure induced by the action space.

研究の動機と目的

• 大規模で構造的な文脈および行動空間へのバンドイットアルゴリズムのスケーリングの課題に対処すること。
• 高次元入力における報酬関数を包括的に表現できるモデルクラスを開発すること。
• 問題の構造に合わせて効率的にスケーリングしつつ、低レグレットを維持するアルゴリズムを設計すること。
• グラフィカル・モデルの構造とバンドイット学習における計算効率との関係を形式化すること。

提案手法

• 報酬が文脈変数と行動変数を結ぶグラフ構造を介して要因分解されるグラフィカル・モデル表現を導入する。
• 期待報酬をグラフ内のクリークにおける局所的ポテンシャル関数の積としてエンコードする条件付きグラフィカル・モデルを定義する。
• 期待報酬の計算と効率的な行動の探索のため、グラフ構造上で動的計画法を用いる。
• 行動に起因する部分グラフのツリーウェイドスを活用して、推論と学習の計算コストを制限する。
• レグレット解析を実施し、レグレットがグラフィカル・モデルのパラメータ数に線形に比例することを示す。
• 探索を上位信頼区間（UCB）に基づくアプローチで統合し、効率的なポリシー更新を保証する。

実験結果

リサーチクエスチョン

• RQ1 グラフィカル・モデルを用いて、大規模なバンディット報酬関数をコンパクトかつ構造的に表現できるか？
• RQ2 行動空間および文脈空間の構造を活用することで、バンディット学習における計算複雑性を低減できるか？
• RQ3 グラフィカル・モデルのツリーウェイドスと、学習アルゴリズムのレグレットおよび実行時間との関係は何か？
• RQ4 モデルベースのバンディットアルゴリズムは、高次元設定においても計算が tractable なまま低レグレットを達成できるか？
• RQ5 本手法は、構造的問題におけるスケーラビリティとパフォーマンスの面で、標準的なバンディットアルゴリズムと比べてどのように差をつけるか？

主な発見

• 提案されたアルゴリズムは、グラフィカル・モデルのパラメータ数に比例したレグレットで抑えられ、大規模な問題へのスケーラビリティを保証する。
• 実行時間は、行動空間によって誘導されるグラフ構造のツリーウェイドスにのみ依存するため、高次元設定でも効率的な計算が可能である。
• レグレットの上限は、文脈空間および行動空間のサイズとは無関係であり、構造的スパarsity に依存する。
• グラフィカル・構造を活用することで、信頼区間と行動価値の計算に低い計算オーバーヘッドで効率的な探索が可能になる。
• 実験結果により、問題サイズの増加に伴ってもアルゴリズムが効果的にスケーリングし、低レグレットを維持することが示された。
• 元のグラフのツリーウェイドスが低い場合、標準的なバンディットアルゴリズムに比べて計算効率が顕著に向上することが示された。