[論文レビュー] A Unifying Framework for Linearly Solvable Control

Krishnamurthy Dvijotham, Emanuel Todorov|arXiv (Cornell University)|Feb 14, 2012

Robotic Path Planning Algorithms参考文献 6被引用数 8

ひとこと要約

本論文は、Rényi散発度を用いて線形に解ける制御のための統一的枠組みを導入し、線形に解けるマーカフ決定過程（LMDP）を一般化することで、調整可能なリスク回避（a > 0）またはリスク求心（a < 0）を実現するリスクセンシティブ制御を可能にする。このアプローチは、a → 0 の極限で標準的なLMDPを回復し、経路積分表現と合成的制御則を提供する。これにより、構造的性質が保証されるより広範な制御問題のクラスに既存の研究が拡張される。

ABSTRACT

Recent work has led to the development of an elegant theory of Linearly Solvable Markov Decision Processes (LMDPs) and related Path-Integral Control Problems. Traditionally, MDPs have been formulated using stochastic policies and a control cost based on the KL divergence. In this paper, we extend this framework to a more general class of divergences: the Renyi divergences. These are a more general class of divergences parameterized by a continuous parameter that include the KL divergence as a special case. The resulting control problems can be interpreted as solving a risk-sensitive version of the LMDP problem. For a &gt; 0, we get risk-averse behavior (the degree of risk-aversion increases with a) and for a &lt; 0, we get risk-seeking behavior. We recover LMDPs in the limit as a -&gt; 0. This work generalizes the recently developed risk-sensitive path-integral control formalism which can be seen as the continuous-time limit of results obtained in this paper. To the best of our knowledge, this is a general theory of linearly solvable control and includes all previous work as a special case. We also present an alternative interpretation of these results as solving a 2-player (cooperative or competitive) Markov Game. From the linearity follow a number of nice properties including compositionality of control laws and a path-integral representation of the value function. We demonstrate the usefulness of the framework on control problems with noise where different values of lead to qualitatively different control behaviors.

研究の動機と目的

• 線形に解けるマーカフ決定過程（LMDP）の理論を、KL散発度を超えてより広い種類の散発度へ一般化すること。
• 連続的パラメータaを用いてリスク回避またはリスク求心を調整可能なリスクセンシティブ制御形式の開発。
• 既存の経路積分制御手法とLMDPフレームワークを、統一的な理論的構造の下に統合すること。
• 価値関数のための合成的制御則と経路積分表現を確立すること。
• 本フレームワークが、異なるa値で質的に異なる挙動を示すノイズのある制御問題における有用性を示すこと。

提案手法

• フレームワークは、LMDPをKL散発度からRényi散発度へ置き換えることで拡張され、連続的パラメータaでパrameter化される。
• 得られる制御問題は、確率的方策における変分最適化として定式化され、コスト関数はRényi散発度に基づく。
• 新しい散発度の下でFokker-Planck方程式の線形性に起因し、価値関数の経路積分表現が導出される。
• 制御則が合成的であることが示され、部分問題の最適方策を線形に組み合わせて合成可能である。
• フレームワークは2人プレイヤーのマーカフゲームとして解釈可能であり、協調的または競争的制御の解釈を可能にする。
• 本フレームワークの連続時間極限は、既存のリスクセンシティブ経路積分制御形式を回復する。

実験結果

リサーチクエスチョン

• RQ1 LMDPフレームワークは、KL散発度を超えて、他の散発度を含む形にどのように一般化可能か？
• RQ2 Rényi散発度のパラメータaは、制御方策におけるリスク回避またはリスク求心の挙動をどのように規定するか？
• RQ3 本一般化の下でも、経路積分表現と合成的制御則は保持されるか？
• RQ4 提案されたフレームワークは、既存のLMDPとリスクセンシティブ制御アプローチをどのように統合するか？
• RQ5 Rényi散発度を線形に解ける制御に用いることによる構造的および計算上の利点は何か？

主な発見

• KL散発度をRényi散発度に置き換えることで、LMDPフレームワークが一般化され、連続的なリスクセンシティブ行動のスケールが可能になる。
• a > 0 の場合、リスク回避の制御方策が誘発され、aが増加するにつれて回避度が高まる。
• a < 0 の場合、リスク求心の挙動が得られ、|a|が大きくなるほど求心度が高まる。
• a → 0 の極限で、標準的なLMDPの定式化が回復される。
• 一般化された散発度の下でも、価値関数の経路積分表現が保持され、効率的な計算が可能になる。
• 制御則は合成的であり、複雑なシステムにおける最適方策のモジュラー設計を可能にする。