[論文レビュー] Control Capacity of Partially Observable Dynamic Systems in Continuous Time

Stas Tiomkin, Daniel Polani+1 more|arXiv (Cornell University)|Jan 18, 2017

Bayesian Modeling and Causal Inference参考文献 12被引用数 14

ひとこと要約

本稿は、連続時間、線形、部分観測ガウス系における制御から状態への情報容量（エマワーメント）を効率的に計算する手法を提案する。本研究では、未来の状態制御に意味的に寄与するのは、過去の制御信号の有限時間窓に限られ、その容量はシステムの時間定数によって制限され、可制御性グラミアンの固有値分解に対するウォーター・フィリング手順に従うことが明らかになった。

ABSTRACT

Stochastic dynamic control systems relate in a prob- abilistic fashion the space of control signals to the space of corresponding future states. Consequently, stochastic dynamic systems can be interpreted as an information channel between the control space and the state space. In this work we study this control-to-state informartion capacity of stochastic dynamic systems in continuous-time, when the states are observed only partially. The control-to-state capacity, known as empowerment, was shown in the past to be useful in solving various Artificial Intelligence & Control benchmarks, and was used to replace problem-specific utilities. The higher the value of empowerment is, the more optional future states an agent may reach by using its controls inside a given time horizon. The contribution of this work is that we derive an efficient solution for computing the control-to-state information capacity for a linear, partially-observed Gaussian dynamic control system in continuous time, and discover new relationships between control-theoretic and information-theoretic properties of dynamic systems. Particularly, using the derived method, we demonstrate that the capacity between the control signal and the system output does not grow without limits with the length of the control signal. This means that only the near-past window of the control signal contributes effectively to the control-to-state capacity, while most of the information beyond this window is irrelevant for the future state of the dynamic system. We show that empowerment depends on a time constant of a dynamic system.

研究の動機と目的

• 従来、離散時間・離散状態で研究されてきたエマワーメントの概念を、連続時間・連続状態の動的システムへと拡張すること。
• 連続時間動的下で、線形で部分観測されたガウス系における制御から状態への情報容量の効率的解析的解を導出すること。
• システムの時間定数、制御信号履歴、およびそれらがもたらす情報容量との関係を解明すること。
• 無限記憶依存の仮定に反し、未来の状態可制御性に寄与するのは有限の過去時間窓の制御信号に限られることを示すこと。
• 可制御性グラミアンのスペクトル分解と反復的ウォーター・フィリングを用いて、計算的に取り扱いやすいフレームワークを提供すること。

提案手法

• 連続時間ガウス過程を用いて、制御入力とシステム出力間の確率的情報チャネルとして動的システムをモデル化する。
• 可制御性グラミアンのスペクトル分解を用いて、制御と最終状態の相互情報量を導出し、制御関数の明示的展開を回避する。
• グラミアンの固有値分解から得られる「z-ベクトル」を導入し、状態空間内での有効な制御方向を表現する。
• 相互情報量を最大化するために、制御過程の双対正規基底展開における最適分散を計算するウォーター・フィリングアルゴリズムを適用する。
• リャプノフ方程式とシステムの安定性特性を用いて、エマワーメントの時間定数依存性を特徴付ける。
• 最大容量が無限の制御履歴によって達成されるのではなく、システムのダイナミクスによって決定される有限の有効時間窓によって達成されることを確立する。

実験結果

リサーチクエスチョン

• RQ1 連続時間線形動的システムにおける情報理論的制御容量（エマワーメント）は、どのようにして効率的に計算できるか？
• RQ2 システムの時間定数が、未来の状態可制御性に寄与する制御信号履歴の有効長さを決定する役割を果たすか？
• RQ3 制御信号の持続時間が延長されるにつれて、制御から状態への容量は無限に増大するのか、それともシステムのダイナミクスによって制限されるのか？
• RQ4 完全な制御信号関数空間の明示的パラメータ化なしに、部分観測系のエマワーメントを計算できるか？
• RQ5 可制御性グラミアンのスペクトル特性は、連続時間における制御信号分散の最適割り当てとどのように関係するか？

主な発見

• 連続時間線形系における制御から状態への情報容量は有限であり、制御信号の持続時間が延長されても無限に増大しない。
• 未来の状態可制御性に有効に寄与するのは、システムの時間定数によって決定される有限の過去時間窓の制御信号に限られる。
• システムの時間定数 τ がゼロに近づいても、相互情報量式におけるグラミアン比の有限限界のため、エマワーメントはゼロでないまま保たれる。
• 可制御性グラミアンのスペクトル成分に対する反復的ウォーター・フィリング手順により、直交制御モード間の最適制御分散配分が効率的に計算可能である。
• 本手法は制御信号基底関数の明示的構築を回避し、代わりにグラミアンのスペクトル分解とz-ベクトルに依存する。
• 導出されたフレームワークにより、制御過程の双対正規基底展開における自由度を活用し、エネルギーおよび複雑性制約付きの制御システム設計が可能になる。