[論文レビュー] An Information-Theoretic Analysis of Thompson Sampling

Daniel Russo, Benjamin Van Roy|arXiv (Cornell University)|Mar 21, 2014

Advanced Bandit Algorithms Research参考文献 26被引用数 57

ひとこと要約

本稿では、情報理論的分析を通じてトンプソンサンプリングの性能を検証し、そのレグレットが最適行動分布のエントロピーに比例することを示している。情報理論を活用することで、ハード知識とソフト知識の両方を考慮したベイジアンレグレットバウンズを導出しており、従来の研究とは異なりソフト知識を無視していた点を補い、よりタイトで解釈可能な性能保証を提供している。

ABSTRACT

We provide an information-theoretic analysis of Thompson sampling that applies across a broad range of online optimization problems in which a decision-maker must learn from partial feedback. This analysis inherits the simplicity and elegance of information theory and leads to regret bounds that scale with the entropy of the optimal-action distribution. This strengthens preexisting results and yields new insight into how information improves performance.

研究の動機と目的

• 既存の文献に欠けているハード知識とソフト知識の両方を統合したトンプソンサンプリングのレグレット解析を構築すること。
• 行動の最適性に関する不確実性（エントロピーで定量化）がオンライン意思決定における学習性能に与える影響を形式化すること。
• マルチアームバンディット、線形バンディット、組み合わせ的行動集合を含む多様なフィードバック構造において、トンプソンサンプリングの分析を統一すること。
• 情報理論的手法が、現実の学習ダイナミクスを反映したよりタイトで解釈可能なレグレットバウンズをもたらすことを示すこと。

提案手法

• 最適行動に関する不確実性を行動上の事後分布としてモデル化するベイジアンフレームワークを採用する。
• キーバウンズは、Kullback–Leibler（KL）ダイバージェンスとその変分表現を用いて、事後分布の更新と情報量の増加を関連付ける。
• 報酬ノイズのサブガウス性の仮定により、1ステップあたりの情報量の増加を報酬推定の分散によってバウンディングできる。
• 本稿では、最適行動分布のエントロピーという、情報理論的で新規な数量を導入し、これがレグレットのスケーリングを直接制御することを示している。
• 情報理論を活用することで、半バンディットやフルインフォーメーション設定を含む、複数のフィードバック構造において、順序的に最適なベイジアンレグレットバウンズを確立した。
• 従来の集中不等式に代えて情報理論的不等式を用いることで、よりタイトで解釈可能なバウンズを達成した。

実験結果

リサーチクエスチョン

• RQ1 最適行動分布のエントロピーは、トンプソンサンプリングのレグレットにどのように影響するか？
• RQ2 情報理論的手法は、ソフト知識に依存するよりタイトで解釈可能なレグレットバウンズを提供できるか？
• RQ3 意思決定者が最良の行動について不確実であるほど、トンプソンサンプリングの性能はどのようにスケーリングするか？
• RQ4 ソフト知識を組み込むことで、それを無視する従来の手法に比べて、レグレットバウンズはどのように改善されるか？
• RQ5 多様な部分的フィードバックを持つオンライン最適化問題に、統一的な情報理論的分析を適用可能か？

主な発見

• トンプソンサンプリングのレグレットは、最適行動分布のエントロピーに比例してスケーリングされ、最良の行動についての不確実性が性能に与える影響を形式化した。
• 本稿で提示されたバウンズは、ソフト知識（具体的には、エージェントがどの行動が最適かについての不確実性）に明示的に依存する最初のものであり、探索と活用のトレードオフに関する新たな洞察を提供している。
• 独立したアームを有するマルチアームバンディットでは、レグレットバウンズは対数要因を除いて順序的に最適であり、最適行動分布のエントロピーに依存する。
• サブガウス性の報酬ノイズが成立する状況では、1ステップあたりの情報量の増加が $ 2| abla| imes ext{variance} $ でバウンディングされ、タイトなレグレットバウンズが得られる。
• 本分析は、線形バンディット、組み合わせ的行動集合、半バンディットフィードバックを含む多様なフィードバック構造に一貫して適用可能であり、既存の結果を統一した。
• ソフト知識を無視する従来のレグレット解析に比べ、本バウンズはよりタイトであり、歴史的データと事前信念が期待レグレットを低下させることを強調している。