[論文レビュー] Optimal steering of a linear stochastic system to a final probability distribution

Yongxin Chen, Tryphon T. Georgiou+1 more|arXiv (Cornell University)|Aug 10, 2014

Advanced Thermodynamics and Statistical Mechanics被引用数 6

ひとこと要約

本稿では、最小エネルギー状態フィードバック制御を用いて、初期ガウス分布から目的の最終ガウス分布へ線形確率的システムを操作する明示的かつ計算可能な解を提示する。最適制御は、初期および最終共分散行列を用いて閉形式で表現される境界条件を満たす2つの結合された微分リャプノフ方程式を解くことで得られ、一般のガウス・マルコフ過程におけるシュレーディンガー・ブリッジ枠組みにおいて、初めて実装可能な解が得られる。

ABSTRACT

We consider the problem to steer a linear dynamical system with full state observation from an initial gaussian distribution in state-space to a final one with minimum energy control. The system is stochastically driven through the control channels; an example for such a system is that of an inertial particle experiencing random "white noise" forcing. We show that a target probability distribution can always be achieved in finite time. The optimal control is given in state-feedback form and is computed explicitely by solving a pair of differential Lyapunov equations that are coupled through their boundary values. This result, given its attractive algorithmic nature, appears to have several potential applications such as to active control of nanomechanical systems and molecular cooling. The problem to steer a diffusion process between end-point marginals has a long history (Schrödinger bridges) and therefore, the present case of steering a linear stochastic system constitutes a Schrödinger bridge for possibly degenerate diffusions. Our results, however, provide the first implementable form of the optimal control for a general Gauss-Markov process. Illustrative examples of the optimal evolution and control for inertial particles and a stochastic oscillator are provided. A final result establishes directly the property of Schrödinger bridges as the most likely random evolution between given marginals to the present context of linear stochastic systems.

研究の動機と目的

• 非退化ノイズを有する線形確率的システムにおける最適制御の計算可能な解の欠如に取り組むこと。特に、ナノメカニカルおよび冷却応用において重要である。
• 初期分布から最終ガウス分布へガウス・マルコフ過程を操作するための明示的かつ実装可能な最小エネルギー制御則を提供すること。
• 事前制御なしの拡散過程下で、2つの周辺分布間の最も確からしい経路（シュレーディンガー・ブリッジ）と最適制御の直接的な関係を確立すること。
• ノイズがすべての状態成分に作用しない非退化拡散過程へ、古典的シュレーディンガー・ブリッジ理論を拡張し、数値的に取り扱える解を提供すること。

提案手法

• 変分解析を用いて最適制御を導出し、有限時間区間における制御エネルギーを最小化する状態フィードバック形式が得られる。
• 制御則は、t=0 と t=T における境界値で接続される前向きおよび後向きの2つの結合リャプノフ方程式を解くことで計算される。
• リャプノフ方程式の境界値は、初期および最終状態共分散行列を用いて閉形式で表現される非線形関数として与えられる。
• 慣性粒子およびニクヴイスト＝ジョンソンノイズを有するRLC回路を用いた明示的例を通じて、制御性能とエネルギー効率が検証されている。
• 最小エネルギー制御と事前制御なしの過程への最小相対エントロピーの等価性を活用し、古典的シュレーディンガー・ブリッジ性質を一般化している。
• この手法はアルゴリズム的に実装可能であり、ナノメカニカルシステムにおけるアクティブダンピングおよび冷却への実用的応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非退化ノイズを有する線形確率的システムを、計算可能な制御則を用いて初期ガウス分布から最終ガウス分布へ最適に操作できるか？
• RQ2 全状態観測が可能な一般のガウス・マルコフ過程に対して、最小エネルギー制御の明示的形は何か？
• RQ3 結合された偏微分方程式を解かずに、最適制御を効率的に計算できるか？
• RQ4 最適制御経路は、事前制御なしの拡散下で2つの周辺分布間の最も確からしい経路（シュレーディンガー・ブリッジ）と一致するか？
• RQ5 この枠組みは、慣性粒子やRLC回路といった実際のシステムに、アクティブ冷却やダンピングの応用として適用可能か？

主な発見

• 最適制御は状態フィードバック形式として明示的に与えられ、初期および最終共分散行列を用いて境界条件が閉形式で表現される2つの結合リャプノフ方程式により計算可能である。
• 慣性粒子の例では、初期共分散行列 Σ₀ = I から最終共分散行列 Σ₁ = ¼I へ T=1 の時間内にシステムを効率的に操作し、エネルギー消費を最小化している。
• RLC回路の例では、初期共分散行列 Σ₀ = ½I から最終共分散行列 Σ₁ = ¹⁄₁₆I へ冷却が実現され、熱雑音の有効なアクティブダンピングが示された。
• 最適制御経路は、2つの周辺分布間の最も確からしい経路（シュレーディンガー・ブリッジ）と一致し、最小エネルギーと最小相対エントロピーの双対性が裏付けられた。
• 本手法は、ノイズがすべての状態成分に作用しない非退化拡散過程にも適用可能であり、古典的シュレーディンガー・ブリッジ理論を非退化ケースを超えて拡張している。
• 解は数値的に取り扱いやすく、ナノメカニカルおよびマクロスコピックなレゾネータにおけるリアルタイム実装の直接的なアルゴリズムフレームワークを提供する。