[論文レビュー] Information-Theoretic Confidence Bounds for Reinforcement Learning

Xiuyuan Lu, Benjamin Van Roy|arXiv (Cornell University)|Nov 21, 2019

Advanced Bandit Algorithms Research被引用数 15

ひとこと要約

本稿は、トムソンサンプリングおよび楽観的アルゴリズムにおける信頼区間と相互情報量を結びつけることで、強化学習における情報理論的信頼区間を導入する。エージェントの不確実性および情報利得に明示的に依存するレグレットバウンドを導出し、線形バンディット、表形式MDP、および要因分解MDPへの一般化を可能にし、よりタイトで情報に配慮した性能保証を実現する。

ABSTRACT

We integrate information-theoretic concepts into the design and analysis of optimistic algorithms and Thompson sampling. By making a connection between information-theoretic quantities and confidence bounds, we obtain results that relate the per-period performance of the agent with its information gain about the environment, thus explicitly characterizing the exploration-exploitation tradeoff. The resulting cumulative regret bound depends on the agent's uncertainty over the environment and quantifies the value of prior information. We show applicability of this approach to several environments, including linear bandits, tabular MDPs, and factored MDPs. These examples demonstrate the potential of a general information-theoretic approach for the design and analysis of reinforcement learning algorithms.

研究の動機と目的

• 相互情報量などの情報理論的量を用いて、探索と活用のトレードオフを形式化すること。
• パrametricな仮定に依存しない、情報利得に基づく信頼区間を構築することで、より広範な適用可能性を実現すること。
• 不確実性に依存するレグレットバウンドを通じて、事前情報の価値を定量化すること。
• バンディットを超えて、表形式および要因分解MDPのような構造的環境へ分析を拡張すること。
• 情報理論的ツールを用いて、トムソンサンプリングおよび楽観的アルゴリズムを統一的に分析するフレームワークを提供すること。

提案手法

• 環境に関する情報利得を定量化するために相互情報量を用い、パrametricな仮定を置き換える。
• 1期間あたりの情報利得とレグレットを結びつける、期間ごとの信頼区間を導出する。
• 構造的事前分布および情報利得のバウンドを用いて、線形バンディット、表形式MDP、および要因分解MDPにフレームワークを適用する。
• 集中不等式および期待値のずれバウンドを用いて、価値関数近似における推定誤差を制御する。
• 1期間あたりのレグレットと環境に関する情報利得を結びつける、独創的な情報比に類似した分析を導入する。
• エピソード全体における相互情報量のバウンドを用いて、累積レグレットバウンドを確立し、合計情報利得に比例するようにする。

実験結果

リサーチクエスチョン

• RQ1 情報理論的量は、強化学習における信頼区間を構築するためにどのように用いることができるか？
• RQ2 環境に関する情報利得は、トムソンサンプリングおよび楽観的アルゴリズムにおけるレグレットにどの程度影響を及えるか？
• RQ3 相互情報量は、さまざまな強化学習設定において、探索と活用のバランスをとるための汎用的指標として機能できるか？
• RQ4 不確実性および情報利得によって定量化された場合、事前知識は性能にどのように影響を及えるか？
• RQ5 このフレームワークは、線形バンディットおよび表形式MDPを超えて、要因分解MDPのような複雑な環境へ拡張可能か？

主な発見

• トムソンサンプリングおよび楽観的アルゴリズムの累積レグレットバウンドは、環境に関する合計情報利得に比例し、事前情報の価値を明示的に定量化する。
• 要因分解MDPでは、情報利得が $ O(D \log(1+T)) $ で有界であり、ここで $ D $ はパラメータの総数、$ T $ はエピソード数である。
• 線形バンディットおよび表形式MDPのレグレットバウンドは、環境と観測された軌道の間の相互情報量を用いて導出され、$ \tilde{O}(\sqrt{I}) $ 型のレグレットバウンドをもたらす。
• パrametricモデルの仮定から離れるという点で、UCBおよびトムソンサンプリングに関する先行研究を一般化する。
• 分析により、情報利得を用いて1期間ごとの探索と活用のトレードオフを特徴づけることができる。
• 要因分解MDPにおけるスパarsityおよび条件付き独立性を活用することで、構造的環境においてよりタイトなレグレットバウンドを実現可能となる。