[論文レビュー] From Bandits to Experts: A Tale of Domination and Independence

Noga Alon, Nicolò Cesa‐Bianchi+2 more|arXiv (Cornell University)|Jul 17, 2013

Advanced Bandit Algorithms Research参考文献 15被引用数 34

ひとこと要約

本稿は、部分観測性を持つ敵対的マルチアームバンディット問題における後悔の包括的特徴付けを、有向および無向の観測性グラフを用いて行う。Exp3-DOMは、グラフの独立数に基づいて最適な後悔バウンドを達成する効率的なアルゴリズムを導入し、Exp3-SETは事前にグラフを知る必要がないにもかかわらず同様の性能を達成し、従来の手法に比べて計算効率を著しく向上させる。

ABSTRACT

We consider the partial observability model for multi-armed bandits, introduced by Mannor and Shamir. Our main result is a characterization of regret in the directed observability model in terms of the dominating and independence numbers of the observability graph. We also show that in the undirected case, the learner can achieve optimal regret without even accessing the observability graph before selecting an action. Both results are shown using variants of the Exp3 algorithm operating on the observability graph in a time-efficient manner.

研究の動機と目的

• マルチアームバンディット問題における有向および動的観測性グラフの後悔を特徴付けること。
• 観測性構造に関する最小限の事前知識でのみ動作する効率的なアルゴリズムを開発すること。
• 従来の無向グラフに関する研究を、より一般的な有向ケースへと拡張すること。
• 独立数や支配数のようなグラフ論的測度を用いて、より緊密な後悔バウンドを提供すること。
• 観測性グラフが行動選択後にのみ明らかになる状況を検討し、実用的効率を向上させること。

提案手法

• 観測性グラフの支配集合を用いて行動選択をガイドするExp3-DOMというExp3アルゴリズムの変種を導入する。
• リアルタイムで近似最小支配集合を計算するために、グリーディ集合被覆アルゴリズムを用いる。
• 複数スケールにわたる学習率パラメータを適応的に調整するためのダブリングテクニックを採用する。
• グラフの独立数とアルゴリズムの探索・活用のトレードオフの相互作用を分析することで、後悔バウンドを導出する。
• 予測前にグラフへのアクセスを必要としない簡素化されたバージョンであるExp3-SETを提案する。この手法は不偏損失推定器に依存する。
• 組合せ的構成とグラフの複雑さの測度（最大無閉路部分グラフ、独立数など）を用いて理論的バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 有向観測性グラフを伴う敵対的バンディット問題で達成可能な最適な後悔は何か？
• RQ2 独立数や支配数のようなグラフ論的性質に基づいて、後悔はどのように特徴付けられるか？
• RQ3 事前に観測性グラフを知る必要がない効率的なアルゴリズムは設計可能か？
• RQ4 グラフが行動選択後にのみ明らかになる場合、どのような性能保証が達成可能か？
• RQ5 独立数以外のグラフの複雑さの測度を用いて、より緊密な後悔バウンドを導出可能か？

主な発見

• Exp3-DOMは、時間tにおけるグラフG_tの独立数α(G_t)を用いて、有向かつ動的状況下でO(ln(K) * sqrt(ln(KT) * sum_t α(G_t)) + ln(K) * ln(KT))の後悔バウンドを達成する。
• 支配集合を計算するためにグリーディ集合被覆アルゴリズムが用いられる場合、Exp3-DOMの後悔は、α(G_t)の系列に基づいてバウンドされる。
• Exp3-SETは、無向ケースにおいても、事前に観測性グラフを知る必要がないにもかかわらず、ELP（従来のアルゴリズム）と同等の後悔を達成する。
• Exp3-SETの後悔バウンドは最大無閉路部分グラフの関数で上界が与えられるが、このバウンドはタイトではない可能性がある。
• 本稿では、独立数α(G_t)が、有向および無向の部分観測モデルにおける後悔を特徴付ける重要な複雑さの測度であることが示された。
• 解析における重要な量を独立数を用いてバウンドする、新しい組合せ的補題が導出され、これはグラフ理論においても独立に価値がある可能性がある。