[論文レビュー] From Bandits to Experts: On the Value of Side-Observations

Shie Mannor, Ohad Shamir|arXiv (Cornell University)|Jun 13, 2011

Advanced Bandit Algorithms Research参考文献 11被引用数 68

ひとこと要約

本稿は、フィードバックグラフを通じて選択されなかった行動の報酬に関するサイドオブザーバーションを許容することで、マルチアームドバンディットとエキスパート設定の間を滑らかに補間する一般化されたオンライン学習フレームワークを導入する。ExpBanとELPの2つのアルゴリズムを提案し、独立数やクリーク分割数といったグラフ理論的性質に依存する証明可能なレグレットバウンドを提供する。特にスパースまたはランダムなグラフにおいて、ELPは多くの場合、よりタイトなバウンドを達成する。

ABSTRACT

We consider an adversarial online learning setting where a decision maker can choose an action in every stage of the game. In addition to observing the reward of the chosen action, the decision maker gets side observations on the reward he would have obtained had he chosen some of the other actions. The observation structure is encoded as a graph, where node i is linked to node j if sampling i provides information on the reward of j. This setting naturally interpolates between the well-known "experts" setting, where the decision maker can view all rewards, and the multi-armed bandits setting, where the decision maker can only view the reward of the chosen action. We develop practical algorithms with provable regret guarantees, which depend on non-trivial graph-theoretic properties of the information feedback structure. We also provide partially-matching lower bounds.

研究の動機と目的

• エキスパート設定（全報酬フィードバック）とバンディット設定（選択された行動の報酬のみ観測）の間を滑らかに補間する一般化されたオンライン学習設定を形式化し、分析すること。
• サイドオブザーバーションを、ある行動を選択した際にどの未選択行動の報酬が明らかになるかを示す時間的に変化する有向グラフとしてモデル化すること。
• 非自明なグラフ理論的性質に依存する、実用的で証明可能なレグレット保証を持つアルゴリズムを開発すること。
• 特に無向および有向グラフに対して、この設定におけるレグレットに対する一致またはほぼ一致する下界を確立すること。
• ExpBanやELPのようなアルゴリズムの理論的性能差が、実際の実験でも実際に観測可能であることを実証的に示すこと。

提案手法

• フィードバック構造は、$ G_1, \dots, G_T $ という有向グラフの系列として符号化され、$ i \to j $ のエッジがあるとは、行動 $ i $ を選択することで行動 $ j $ の報酬に関する情報が得られることを意味する。
• ExpBanアルゴリズムは、指数的重み戦略とグラフに基づく探索メカニズムを組み合わせ、グラフのクリーク分割数を用いてレグレットを制御する。
• ELPアルゴリズムは、グラフの独立数に基づく新しいアプローチを導入し、非隣接行動の構造を活用することで、よりタイトなレグレットバウンドを実現する。
• オンライン凸最適化とグラフ理論の技術を用いてレグレットバウンドを導出し、無向グラフでは平均独立数、有向グラフでは平均クリーク分割数に依存する。
• 既知の敵対的バンディット設定への還元により下界を確立し、グラフ構造への依存が情報理論的に必須であることを示す。
• ランダムな Erdős–Rényi グラフ（さまざまなエッジ確率を想定）を用いた実験により、ExpBan、ELP、および標準的な EXP3 を比較し、確率的報酬環境下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 有向グラフとしてモデル化されたサイドオブザーバーションフィードバックの構造は、敵対的オンライン学習におけるレグレットの根本的限界にどのように影響するか？
• RQ2 独立数やクリーク分割数といったグラフ理論的性質に比例するレグレットバウンドを達成するアルゴリズムを設計できるか？ その場合、行動数 $ k $ に比例するのではなく。
• RQ3 既存のアルゴリズム（例：ExpBan）と新しいアルゴリズム（例：ELP）の間の性能差はどの程度で、それが実際の性能にも反映されるか？
• RQ4 理論的レグレットバウンドが、このフィードバック構造設定において情報理論的下界とどの程度一致するか？
• RQ5 サイドオブザーバーションが利用可能な場合、標準的なバンディットアルゴリズム（例：EXP3）と比較して、これらのアルゴリズムの性能はどの程度向上するか？

主な発見

• 無向グラフの場合、情報理論的に最適なレグレットは平均独立数 $ \alpha(G) $ で特徴づけられ、ELPアルゴリズムは $ \mathcal{O}(\sqrt{\alpha(G) T}) $ のレグレットバウンドを達成する。
• 有向グラフの場合、ELPアルゴリズムは $ \mathcal{O}(\sqrt{\alpha(G) T}) $ のバウンドを達成するが、ExpBanのバウンドはクリーク分割数 $ \bar{\chi}(G) $ に依存するため、$ \bar{\chi}(G) \gg \alpha(G) $ の場合に性能差が生じる。
• 定数 $ p $ の Erdős–Rényi グラフでは、独立数は $ \mathcal{O}(\log k) $ である一方、クリーク分割数は $ \Omega(k / \log k) $ であるため、ExpBanとELPの間で顕著な理論的差が生じる。
• 300ノードのランダムグラフにおける実験結果から、ELPはExpBanおよび標準的なEXP3を上回り、$ p $ が中程度の範囲（サイドオブザーバーションが有用だが冗長ではない）で顕著な性能向上を示す。
• ExpBanとELPの性能差は解析の副産物ではなく、特に $ p \approx 0.1 $ から $ 0.3 $ の範囲で、$ \alpha(G) $ と $ \bar{\chi}(G) $ の差が最大になるため、実験的にも明確に観測可能である。
• 完全グラフでは、両アルゴリズムとも $ \mathcal{O}(\sqrt{T}) $ のレグレットを達成し、エキスパート設定と一致する。一方、空のグラフでは、両者とも $ \mathcal{O}(\sqrt{kT}) $ に劣化し、バンディット設定と一致する。