[論文レビュー] Decoupling Exploration and Exploitation in Multi-Armed Bandits

Orly Avner, Shie Mannor+1 more|arXiv (Cornell University)|May 13, 2012

Advanced Bandit Algorithms Research参考文献 14被引用数 10

ひとこと要約

本論文は、学習者が各ラウンドで異なるアームを探索（クエリ）し、別のアームを活用（使用）できる、分離型のマルチアームバンディット枠組みを提案する。これは、標準のバンディット制約（選択されたアクションの報酬しか観測しない）を破るものである。非一様で適応的なサンプリング方針を用いることで、報酬に構造がある場合に特に顕著に、報酬の構造に依存する、アーム数 $k$ に favorably 依存するレグレットバウンドを達成し、特に区分的定常的および敵対的設定において、標準のバンディットアルゴリズムを著しく上回る性能を発揮する。

ABSTRACT

We consider a multi-armed bandit problem where the decision maker can explore and exploit different arms at every round. The exploited arm adds to the decision maker's cumulative reward (without necessarily observing the reward) while the explored arm reveals its value. We devise algorithms for this setup and show that the dependence on the number of arms, k, can be much better than the standard square root of k dependence, depending on the behavior of the arms' reward sequences. For the important case of piecewise stationary stochastic bandits, we show a significant improvement over existing algorithms. Our algorithms are based on a non-uniform sampling policy, which we show is essential to the success of any algorithm in the adversarial setup. Finally, we show some simulation results on an ultra-wide band channel selection inspired setting indicating the applicability of our algorithms.

研究の動機と目的

• 標準のマルチアームバンディットにおける制限（選択されたアームの報酬しか観測されない）を解消し、学習者が活用するアームとは異なるアームをクエリ（探索）できるようにすること。
• 標準の $√{k}$ バウンドよりもアーム数 $k$ に依存性が良いレグレット依存性を達成できるアルゴリズムを設計すること。
• 理論的および実験的検証を通じて、敵対的設定において非一様で適応的なサンプリング方針が性能向上に不可欠であることを示すこと。
• 超広帯域（UWB）チャネル選択設定におけるシミュレーションを通じて、このフレームワークの実用的関連性を示すこと。

提案手法

• アルゴリズムは、実際に活用のために選択されるアームの確率分布に依存する非一様で適応的なサンプリング分布を探索に用いる。
• データに依存するレグレット保証を導入し、これは標準のバンディットアルゴリズムより悪化しないが、報酬系列の挙動に応じて著しく良好になる可能性がある。
• 理論的解析により、区分的定常的確率的バンディット設定において、$k$ に対するレグレット依存性が $\sqrt{k}$ より著しく良好になることが示され、特定の条件下で $\tilde{O}(\sqrt{kT})$ を達成する。
• 均一なサンプリングでは敵対的設定で不十分であり、性能向上を達成するには適応的方針が必要であることを示した。
• 本フレームワークは、1ラウンドあたり複数のクエリが可能な場合や、活用されるアームの報酬が常に明らかになる設定にも一般化可能であり、改善されたレグレット性能を維持する。
• レグレット下界を示すために、バイアス付きコイン識別問題への還元を用い、敵対的設定における任意のアルゴリズムに対して $\Omega(\sqrt{kT})$ の下界を確立し、根本的な限界を示した。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディットにおける探索と活用の分離は、標準のバンディットアルゴリズムと比較して、より良いレグレットバウンドを達成できるか？
• RQ2 敵対的バンディット設定において、性能向上を達成するには非一様で適応的なサンプリング方針が必要か？
• RQ3 特に区分的定常的環境において、分離型フレームワーク下でのアーム数 $k$ に対するレグレット依存性はどのように改善されるか？
• RQ4 提案されたアルゴリズムは、超広帯域（UWB）チャネル選択のような現実的で複雑な設定において、標準のバンディットアルゴリズムを上回れるか？

主な発見

• 提案されたアルゴリズムは、報酬系列の構造に依存する良好な依存性を達成し、特に区分的定常的設定において、標準の $\sqrt{k}$ バウンドよりも $k$ に依存性が良好になる。
• 敵対的設定では、アルゴリズムのレグレットは $\Omega(\sqrt{kT})$ で下界され、構造的仮定なしでは $k$ に依存する改善は一般には達成できないことを示している。
• 理論的解析により、敵対的環境では非一様サンプリングが性能向上に不可欠であることが確認され、均一サンプリングではその改善が達成できない。
• 超広帯域（UWB）チャネル選択設定におけるシミュレーション結果から、アルゴリズムが標準のバンディットベースラインを上回ることを示し、実用的適用可能性を検証した。
• 本フレームワークは、1ラウンドあたり複数のクエリが可能な状況や、活用アームの報酬が常に明らかになる状況にも一般化可能であり、改善されたレグレット性能を維持する。