[論文レビュー] A Unified Bellman Equation for Causal Information and Value in Markov Decision Processes

Stas Tiomkin, Naftali Tishby|arXiv (Cornell University)|Mar 5, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 23

ひとこと要約

本稿では、マルコフ決定過程（MDPs）において因果的情報フローと価値を統合的にモデル化する統一ベルマン方程式を導入する。環境からエージェントへの指向的情報（情報制約）とエージェントから環境への指向的情報（行動能力）を統合的に扱う。無限ホライズンにおいて指向的情報の自己整合的ベルマン再帰を導出し、情報理論的制約下での最適エージェント行動の分析を可能にする。火事場配置タスクにおける数値的妥当性検証では収束が確認され、最短経路解と定性的に整合する結果が得られた。

ABSTRACT

The interaction between an artificial agent and its environment is bi-directional. The agent extracts relevant information from the environment, and affects the environment by its actions in return to accumulate high expected reward. Standard reinforcement learning (RL) deals with the expected reward maximization. However, there are always information-theoretic limitations that restrict the expected reward, which are not properly considered by the standard RL. In this work we consider RL objectives with information-theoretic limitations. For the first time we derive a Bellman-type recursive equa- tion for the causal information between the environment and the agent, which is combined plausibly with the Bellman recursion for the value function. The unified equitation serves to explore the typical behavior of artificial agents in an infinite time horizon.

研究の動機と目的

• 強化学習におけるエージェントと環境間の双方向的情報フローを情報理論的制約下で形式化すること。
• 環境からエージェントへの指向的情報のベルマン型再帰的方程式を導出することにより、報酬最大化における情報レート制限をモデル化すること。
• エージェントが環境に影響を与える能力を捉えるために、エージェントから環境への指向的情報の第二のベルマン方程式を導出することにより、フレームワークを拡張すること。
• 両方の情報チャネルを統一した1つの再帰的フレームワークに統合し、無限ホライズンMDPにおける典型的な最適行動を分析すること。
• 知的エージェントの実用的設計基準を提供すること：エージェントの情報処理レートは、与えられたMDPを解くために必要な最小レートを超えていなければならない。

提案手法

• 時間的経路にわたる状態と行動の同時分布に基づいて、環境からエージェントへの指向的情報のベルマン型再帰を導出する。
• 統一された情報価値ベルマン方程式を解くために、状態空間と行動空間上で行列演算を用いた自己整合的反復アルゴリズムを導入する。
• 統一方程式を用いて、エージェントの期待報酬と情報フローを同時にモデル化し、指向的情報の相対的変化をモニタリングすることで収束を評価する。
• グリッドワールドの火事場配置問題に対して、数値的に手法を検証し、指向的情報値を正確な最短経路平均と比較する。
• 指向的情報は、状態行動同時分布の関数として定式化され、両方向の情報転送レートを定量化する。
• 反復的解法プロセスの安定性と収束を保証するために、ラプラス型構造を用いる。

実験結果

リサーチクエスチョン

• RQ1 無限ホライズン条件下で、マルコフ決定過程において環境からエージェントへの指向的情報がどのように再帰的にモデル化できるか。
• RQ2 価値関数の進化と因果的情報フローを同時に捉える統一ベルマン方程式を構築できるか。
• RQ3 エージェントから環境への指向的情報が、MDPにおける最適長期行動をどのように規定するか。
• RQ4 エージェントの情報処理レートは、情報制約下で与えられたMDPを解くために必要な最小レートとどのように関係するか。
• RQ5 統一ベルマン方程式から得られる解は、すべてのペアの最短経路といった古典的最適化解とどの程度一致するか。

主な発見

• 提案された統一ベルマン方程式は、1つの再帰的フレームワーク内で価値と因果的情報の両方を効果的にモデル化でき、エージェント行動の無限ホライズン分析を可能にした。
• 統一方程式の反復的解法は、状態数に対して部分線形収束を示し、各反復でO(|S|×|A|)の計算量を要するため、Floyd-Warshallやダイクストラ型アルゴリズムと比較して著しく高速である。
• 数値シミュレーションの結果、アルゴリズムが計算する指向的情報値は、正確な最短経路平均と定性的に類似したパターンを示し、赤色ブロック（最高値）が最適な火事場配置を示している。
• 壁のない都市において、指向的情報法で導かれた最適な火事場配置は、すべてのペアの最短経路計算と完全に一致した。
• エージェントから環境への指向的情報が、特定の状態だけでなく、平均的に任意のターゲット状態に最適に応答できるようにする問題において有用であることが示された。
• このフレームワークにより、エージェントの情報処理レートが最適パフォーマンスを達成するための最小必要レートを超えていなければならないことが確立され、人工エージェントの設計基準が提供された。