[論文レビュー] An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning

Dilip Arumugam, Peter Henderson+1 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

この論文は強化学習における信用配分を形式化するための情報理論的枠組みを提案し、報酬の疎らさではなく情報の疎らさが効率的学習の真の障壁であると主張する。固定された行動方策下での行動とリターンの間の相互情報量を導入し、情報理論的量が信用配分を定量化可能であり、証明可能に効率的な学習メカニズムを可能にすることを示す。

ABSTRACT

How do we formalize the challenge of credit assignment in reinforcement learning? Common intuition would draw attention to reward sparsity as a key contributor to difficult credit assignment and traditional heuristics would look to temporal recency for the solution, calling upon the classic eligibility trace. We posit that it is not the sparsity of the reward itself that causes difficulty in credit assignment, but rather the \\emph{information sparsity}. We propose to use information theory to define this notion, which we then use to characterize when credit assignment is an obstacle to efficient learning. With this perspective, we outline several information-theoretic mechanisms for measuring credit under a fixed behavior policy, highlighting the potential of information theory as a key tool towards provably-efficient credit assignment.

研究の動機と目的

• 報酬の疎らさではなく、行動とリターンの間の情報の疎らさによって強化学習における信用配分問題を再定式化すること。
• 特に行動とリターンの間の相互情報量を用いて、情報理論を用いて信用配分の難易度を形式化すること。
• 固定された行動方策下での状態行動対の寄与度を定量化する情報理論的信用配分メカニズムを開発すること。
• 経路に沿ったリターンの系列を分析することで、因果情報理論と信用配分を結びつけること。
• 長時間スパンかつ報酬が疎らなタスクにおける効率的強化学習アルゴリズムへの情報理論的原則の統合の基盤を築くこと。

提案手法

• 信用配分における核心的課題として情報の疎らかを定義し、行動（行動）と観測されたリターンの間の相互情報量が低いことと定義する。
• 各時刻 $h$ における信用配分を定量化するための相互情報量測定 $\mathcal{I}(Z_h; \tau^h | Z_{h+1}^H)$ を提案する。ここで $Z_h$ は時刻 $h$ からのリターンを表す。
• 相互情報量の連鎖則を用いて、全情報量を各時刻の寄与に分解し、各ステップごとの信用配分を可能にする。
• 因果情報理論を適用して、過去の行動から将来のリターンへの情報の流れをモデル化し、リターンを因果的メディエーターとして扱う。
• $\mathcal{I}(\tau; Z^H) = \sum_{h=1}^H \mathcal{H}(R_h | Z_{h+1}^H)$ を導出し、信用配分が将来のリターンを条件とした報酬のエントロピーによって定量化できることを示す。
• 決定論的な報酬では、相互情報量の式が単純化され、信用信号の計算が容易になることを確立する。

実験結果

リサーチクエスチョン

• RQ1 報酬の疎らかが直感に反して信用配分の難易度の真の要因でないのはなぜか？
• RQ2 情報理論は、信用配分における「情報の疎らか」の概念をどのように形式化できるか？
• RQ3 固定された行動方策下で、個々の状態行動対の信用配分を定量化するための情報理論的測定は何か？
• RQ4 経路に沿ったリターンの系列は、信用配分における因果的情報の流れとどのように関係するか？
• RQ5 情報理論的信用測定は、長時間スパンかつ報酬が疎らなMDPにおいて、証明可能に効率的な学習を可能にするか？

主な発見

• 報酬の疎らかだけでは信用配分の難易度が決まらない。報酬を定数分ずらしても最適方策や学習の難易度は変わらないためである。
• 行動とリターンの間の相互情報量が低いこと、すなわち情報の疎らかが、信用配分の難易度の真の根本的要因であると特定された。
• $\mathcal{I}(\tau; Z^H) = \sum_{h=1}^H \mathcal{H}(R_h | Z_{h+1}^H)$ を導出し、信用配分が将来のリターンを条件とした報酬のエントロピーによって定量化できることを示した。
• 相互情報量 $\mathcal{I}(Z_h; \tau^h | Z_{h+1}^H)$ は、時刻 $h$ における行動に割り当てられる信用を正確に情報理論的に測定するものである。
• この枠組みは、信用配分が本質的に情報の流れであることを明らかにし、因果情報理論がリターン伝搬の時間的ダイナミクスを自然にモデル化できることを示した。
• 結果から、情報理論的測定が、強化学習における証明可能に効率的な信用配分メカニズムの設計の基盤となり得ると示唆された。