[論文レビュー] Transfer-Entropy-Regularized Markov Decision Processes

Takashi Tanaka, Henrik Sandberg+1 more|arXiv (Cornell University)|Aug 30, 2017

Advanced Thermodynamics and Statistical Mechanics参考文献 52被引用数 4

ひとこと要約

本稿は、状態に依存するコストと、状態から行動への情報フローの両者のトレードオフを最小化する転送エントロピー正則化付きマルコフ決定過程（TERMDP）を提案する。非凸的TERMDPの静的点に収束する反復的前向き・後向きアルゴリズムを考案し、制御および熱力学的システムにおける情報制約下での最適方策設計を可能にする。

ABSTRACT

We consider the framework of transfer-entropy-regularized Markov Decision Process (TERMDP) in which the weighted sum of the classical state-dependent cost and the transfer entropy from the state random process to the control random process is minimized. Although TERMDPs are generally formulated as nonconvex optimization problems, we derive an analytical necessary optimality condition expressed as a finite set of nonlinear equations, based on which an iterative forward-backward computational procedure similar to the Arimoto-Blahut algorithm is proposed. It is shown that every limit point of the sequence generated by the proposed algorithm is a stationary point of the TERMDP. Applications of TERMDPs are discussed in the context of networked control systems theory and non-equilibrium thermodynamics. The proposed algorithm is applied to an information-constrained maze navigation problem, whereby we study how the price of information qualitatively alters the optimal decision polices.

研究の動機と目的

• 状態から制御プロセスへの情報フローを転送エントロピーを用いてペナルティ化することで、新たな最適制御フレームワークを形式化すること。
• TERMDPの必要十分最適性条件を、有限個の非線形方程式として導出すること。
• 非凸的TERMDPを解く計算的に効率的な反復的アルゴリズムを構築し、静的点への収束保証を提供すること。
• ネットワーク制御系および非平衡熱力学におけるフレームワークの適用可能性を示すこと。
• 情報コストが、迷路走破などの制約付き環境における最適意思決定方策にどのように影響するかを示すこと。

提案手法

• 状態に依存するコストと状態から制御プロセスへの転送エントロピーの和を最小化する非凸最適化問題としてTERMDPを定式化する。
• 条件付き確率とラグランジュ乗数を含む非線形方程式系として、必要最適性条件を導出する。
• アリモト＝ブラフトアルゴリズムに類似した前向き・後向き反復的アルゴリズムを提案し、制御方策と双対変数を交互に更新する。
• 一般方策を有限記憶を持つ制限付きクラスに写像する射影演算子πを導入し、特定の条件下で最適性を保持する。
• アルゴリズムの各極限点がTERMDPの静的点であることを証明することで収束性を確立する。
• 情報制約付きの迷路走破タスクにおいてアルゴリズムを検証し、情報コストの変動に伴う方策の変化を分析する。

実験結果

リサーチクエスチョン

• RQ1 限られたセンシングおよび通信能力下での現実の意思決定をモデル化するため、状態から行動への情報フローに情報理論的制約を統合する方法は何か？
• RQ2 TERMDPにおける最適方策を特徴づける解析的条件は何か？ また、問題の非凸性にもかかわらず、それらを数値的に解くにはどうすればよいか？
• RQ3 情報の価格が、制約付き環境における最適制御方策の構造と性能にどのように影響を与えるか？
• RQ4 提案されたアルゴリズムは、TERMDPの静的点を信頼性高く計算できるか？ また、どのような収束保証を提供するか？
• RQ5 TERMDPは、ネットワーク制御系および非平衡熱力学における根本的な性能限界をどの程度正確に捉えられるか？

主な発見

• 提案された前向き・後向きアルゴリズムは、TERMDPの静的点に収束し、すべての極限点が導出された最適性条件を満たす。
• アルゴリズムは、レート・ドレスタン問題に対するアリモト＝ブラフトアルゴリズムの一般化であり、転送エントロピー最小化に適応されたものである。
• 必要最適性条件は、条件付き確率とラグランジュ乗数を含む有限個の非線形方程式として導出された。
• 射影演算子πを用いることで、制限付き方策クラス内での最適性を保つ収束性が確立された。
• 迷路走破タスクにおいて、情報コストを増加させると、より単純で状態依存性の低い方策が得られ、意思決定行動の定性的な変化が示された。
• 従来の相互情報量やKLダイバージェンスをコスト関数に用いるモデルとは異なり、本フレームワークは物理的および情報理論的根拠に基づいた代替手段を提供する。