[論文レビュー] Variational Optimization for Distributed and Boundary Control of Stochastic Fields

George I. Boutselis, Marcus A. Pereira+2 more|arXiv (Cornell University)|Apr 3, 2019

Stochastic processes and financial applications参考文献 10被引用数 4

ひとこと要約

本論文は、ヒルバート空間上における測度論的アプローチを用いて、確率的偏微分方程式（SPDE）の分散および境界制御のための変分最適化フレームワークを導入する。相対エントロピーと自由エネルギーの間の関係を活用することで、無限次元確率的システムのパラメータ化された制御方策の最適化が可能となり、理論と実装の間の実用的ブリッジを提供する。

ABSTRACT

Stochastic partial differential equations have been used to model diverse applications ranging from turbulence and plasma physics to partially observable stochastic controlled systems. This paper aims to bridge the gap between abstract theoretical results and implementable algorithms, by developing a variational optimization framework for controlling infinite-dimensional stochastic models. A measure-theoretic approach is employed for systems evolving on Hilbert spaces, which relies on connections between relative entropy and free energy. The derived scheme is applicable to a wide class of problems, and can be used for optimizing parameterized control policies. Our work creates new perspectives and directions for solving stochastic control problems constrained by partial differential equations.

研究の動機と目的

• 抽象的な確率的制御理論と実装可能なアルゴリズムの間のギャップを埋めること。
• SPDEに従う無限次元確率的システムの制御のための計算的に実行可能な手法を開発すること。
• 分散および境界制御設定におけるパラメータ化された制御方策の最適化を可能にすること。
• 測度論と変分原理に裏付けられた、確率的制御のための厳密な数学的基盤を提供すること。

提案手法

• ヒルバート空間上における測度論的フレームワークを用いて、確率的変動をモデル化すること。
• 相対エントロピーと自由エネルギーの関係を活用して最適化基準を導出すること。
• 制御方策のパラメータとシステム性能をエネルギーに類似した汎関数を介して結ぶ変分原理を定式化すること。
• 無限次元空間における関数計算を用いて最適性の必要条件を導出すること。
• 分散および境界制御問題に適用可能なスケーラブルな最適化スキームを設計すること。
• 変分定式化に制御則を埋め込むことで、パラメータ化された方策の最適化を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 抽象的な確率的制御理論を、無限次元システムに対して実装可能にするにはどうすればよいか？
• RQ2 SPDE制御の文脈において、相対エントロピーと自由エネルギーを統合する変分原理は何か？
• RQ3 確率的偏微分方程式制約下で、パラメータ化された制御方策をどのように最適化できるか？
• RQ4 分散および境界制御の状況で、収束性と安定性を保証する数学的フレームワークは何か？
• RQ5 測度論的アプローチは、確率的制御問題の取り扱いやすさをどのように向上させるか？

主な発見

• フレームワークは、理論的なSPDE制御問題を、数値的に解ける変分最適化問題に成功して変換した。
• 相対エントロピーと自由エネルギーの関係により、無限次元設定における制御方策のロバストな最適化が可能になった。
• 本手法は分散制御および境界制御の両方をサポートしており、多様な物理的および工学的システムへの応用範囲を広げた。
• 導出された変分定式化を用いることで、パラメータ化された制御方策を効率的に最適化できるようになった。
• 制約付き確率的制御問題を解くための、新しい理論的かつ計算的アプローチを提供した。
• フレームワークは、乱流的および部分観測可能なプロセスを含む、広範なクラスの確率的システムに適用可能であり、一般性に富んでいる。