[論文レビュー] A Bit Better? Quantifying Information for Bandit Learning

Adithya M. Devraj, Benjamin Van Roy+1 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Bandit Algorithms Research参考文献 23被引用数 4

ひとこと要約

本稿は、マルチアームバンディット問題における情報指向サンプリング（IDS）の性能向上に、シャノンエントロピーの代わりにツァリスエントロピーを用いることで効果があるかどうかを調査している。ツァリスエントロピーを用いた場合、理論的リグレットバウンドがよりタイトであるものの、計算実験の結果、シャノンエントロピーを用いたIDSはツァリス-IDSと同等の実現性能を示すことが判明した。これは、理論的利点が実用的利点に必ずしも反映されない可能性を示唆している。さらに、著者らはシャノンエントロピーを用いたトムソンサンプリングに対して、順序最適なリグレットバウンドを導出可能な修正された解析フレームワークを提案している。

ABSTRACT

The information ratio offers an approach to assessing the efficacy with which an agent balances between exploration and exploitation. Originally, this was defined to be the ratio between squared expected regret and the mutual information between the environment and action-observation pair, which represents a measure of information gain. Recent work has inspired consideration of alternative information measures, particularly for use in analysis of bandit learning algorithms to arrive at tighter regret bounds. We investigate whether quantification of information via such alternatives can improve the realized performance of information-directed sampling, which aims to minimize the information ratio.

研究の動機と目的

• ツァリスエントロピーを用いた情報の定量化が、シャノンエントロピーと比較して情報指向サンプリング（IDS）の実現性能を向上させるかどうかを評価すること。
• 理論的によりタイトなリグレットバウンドが得られるツァリスエントロピーの利点が、実際の性能向上に反映されるかどうかを調査すること。
• トムソンサンプリングにシャノンエントロピーを用いた場合に、順序最適なリグレットバウンドを導出可能な修正された解析フレームワークを構築すること。
• さまざまなバンディット設定において、異なる情報測度下での情報比の経験的挙動を評価すること。

提案手法

• 著者らは、シャノンエントロピーとツァリスエントロピーを用いたIDSの2つの変種を比較する。
• 行動選択をガイドするために、二乗期待リグレットをそれぞれの情報測度（シャノンまたはツァリスエントロピー）で割った情報比を計算する。
• 合成バンディット問題（反例とベータ＝ベルヌーイバンディットを含む）を用いた計算的スタディにより、両方の情報測度におけるIDSの性能を評価する。
• サンプルパス全体におけるスケーリングされた情報比の経験的平均を用いて、時間経過に伴う情報比のダイナミクスを推定する。
• 著者らは、従来の情報比フレームワークでは達成できなかった、シャノンエントロピーを用いたトムソンサンプリングに対して順序最適なリグレットバウンドを導出可能な修正された解析テンプレートを提案する。
• アルゴリズム実装における連続積分の近似のため、離散化が用いられ、情報比の数値的評価が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディット問題における情報指向サンプリングにおいて、シャノンエントロピーの代わりにツァリスエントロピーを用いることで、より優れた経験的性能が得られるか？
• RQ2 理論的によりタイトなリグレットバウンドが得られるツァリス-IDSの利点が、実際の状況でも実現可能か、それとも現在の解析手法の副作用に過ぎないか？
• RQ3 修正された解析フレームワークを用いることで、シャノンエントロピーを用いたトムソンサンプリングに対し、順序最適なリグレットバウンドを達成可能か？
• RQ4 異なる情報測度およびバンディット設定下で、情報比のダイナミクスは時間経過とともにどのように変化するか？

主な発見

• ツァリス-IDSには理論的によりタイトなリグレットバウンドがあるものの、複数のバンディット環境において、シャノンエントロピーを用いたIDSの実現性能はツァリス-IDSと経験的に同等である。
• シャノンおよびツァリスベースのIDSにおける情報比は、時間経過とともに安定化し、特に高次元設定（K=40）では急速に収束する。
• 著者らは、修正された解析テンプレートにより、シャノンエントロピーを用いたトムソンサンプリングに対して順序最適なリグレットバウンドを導出可能であることを実証した。これは、元の情報比フレームワークでは達成できなかった。
• ベータ＝ベルヌーイバンディット設定では、最悪ケースバウンドがシャノンエントロピーの方が大きいにもかかわらず、スケーリングされた情報比はシャノンエントロピーのほうが一貫して低く保たれている。
• 情報比のダイナミクスは、最適なアームが特定された後、ゼロ付近でチタリングを示しており、収束段階ではリグレットと情報量の両方が最小限に抑えられていることが示唆される。