[論文レビュー] Maximizing and Satisficing in Multi-armed Bandits with Graph Information

Parth Thaker, Mohit Malu+2 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、既知のグラフ上で報酬が滑らかであることが保証される確率的マルチアームバンディットにおける最良腕同定のための新規アルゴリズムであるGRUBおよびζ-GRUBを提案する。グラフ構造を新たな影響要因測度を用いて活用することで、特に最良腕が少数の類似腕と区別がつきにくい場合に顕著なサンプル複雑性の低減を達成し、従来手法に比べて近似的最適性と実験的利点を示している。

ABSTRACT

Pure exploration in multi-armed bandits has emerged as an important framework for modeling decision-making and search under uncertainty. In modern applications, however, one is often faced with a tremendously large number of options. Even obtaining one observation per option may be too costly rendering traditional pure exploration algorithms ineffective. Fortunately, one often has access to similar relationships amongst the options that can be leveraged. In this paper, we consider the pure exploration problem in stochastic multi-armed bandits where the similarities between the arms are captured by a graph and the rewards may be represented as a smooth signal on this graph. In particular, we consider the problem of finding the arm with the maximum reward (i.e., the maximizing problem) or one with a sufficiently high reward (i.e., the satisficing problem) under this model. We propose novel algorithms extbf{\algoname{}} (GRaph-based UcB) and $ζ$- extbf{\algoname{}} for these problems and provide a theoretical characterization of their performance which specifically elicits the benefit of the graph side information. We also prove a lower bound on the data requirement, showing a large class of problems where these algorithms are near-optimal. We complement our theory with experimental results that show the benefit of capitalizing on such side information.

研究の動機と目的

• すべての腕をサンプリングすることが非現実的な大規模マルチアームバンディット問題における最良腕同定の課題に対処すること。
• 腕の類似性を捉えるグラフ構造の補助情報を活用して、必要なサンプル数を削減すること。
• 抵抗距離とスペクトル的性質に基づき、腕iを最良腕から区別するのがどれほど困難かを定量化する新しい影響要因測度を用いて、グラフ情報の利点を形式化すること。
• グラフ制約下でのサンプル複雑性の理論的下界を確立し、提案手法の近似的最適性を示すこと。
• 最良腕を絶対的に特定することがコストがかかりすぎる状況を想定した満足的バージョン（ζ-GRUB）を開発すること。

提案手法

• グラフラプラシアンと抵抗距離を用いて、影響力と接続性に基づき腕を優先順位付けするUCB風のアルゴリズムGRUBを提案する。
• 抵抗距離とスペクトル的性質に基づき、腕iを最良腕から区別するのがどれほど困難かを定量化する、グラフに依存する影響要因𝔛(i,G)を導入する。
• 報酬が閾値ζを超える腕が特定された段階で停止する満足的バージョンであるζ-GRUBを設計する。これにより探索コストを低減する。
• フィッシャー情報行列の逆行列と有効サンプル数を用いて不確実性をモデル化し、有効サンプル数は正規化されたカウント行列の逆行列を用いて定義する。
• スペクトル的グラフ理論を用いて有効サンプル数の増加を束縛し、循環的サンプリング方針下での収束を証明する。
• ∑_{i∈ℋ} 1/Δ²_iに比例する理論的サンプル複雑性バウンドを導出する。ここでℋは影響要因によって定義される小さな腕の部分集合であり、グラフフリーなベースラインに比べて顕著な改善が得られる。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造の補助情報をどのように活用することで、最良腕同定におけるサンプル複雑性を低減できるか？
• RQ2 マルチアームバンディットにおけるグラフ情報の利点を体系的に測る測度は何か？
• RQ3 腕の報酬がグラフ上で滑らかである場合、提案手法が近似的最適なサンプル複雑性を達成できるか？
• RQ4 GRUBの性能は、従来のグラフフリーなアルゴリズムと比較して、どの程度サンプル効率に優れているか？
• RQ5 満足的バージョンζ-GRUBは、どの状況で最大化バージョンGRUBよりも適しているか？

主な発見

• GRUBのサンプル複雑性は∑_{i∈ℋ} 1/Δ²_iに比例する。多くのグラフにおいて|ℋ| ≪ nであるため、従来手法が∑_{i=1}^n 1/Δ²_iに比例するのと比較して顕著な改善が得られる。
• 影響要因𝔛は、最良腕から腕を区別するのがどれほど困難かという有効な難易度を捉えており、抵抗距離に依存するため、グラフの利点に関する理論的分析が可能になる。
• サンプル複雑性の下界を証明し、グラフ構造が有用な多くの問題クラスにおいてGRUBが近似的最適であることを示した。
• ζ-GRUBは、十分に良い腕が特定された段階ですぐに停止するため、満足的設定において探索コストを著しく低減でき、成功確率に関する理論的保証を有する。
• 実験的結果から、GRUBおよびζ-GRUBを用いることで、特に高次元的または大規模な設定において、ベースラインアルゴリズムに比べて顕著な性能向上が得られることを示した。
• 理論的分析により、グラフにエッジを追加すること（＝類似性情報の強化）が、有効サンプル数を増加させ、不確実性を低減することを形式化した。これは、グラフ拡張における有効サンプル数の単調性によって裏付けられている。