[論文レビュー] Meshless discretization of LQ-type stochastic control problems

Ralf Banisch, Carsten Hartmann|arXiv (Cornell University)|Sep 28, 2013

Markov Chains and Monte Carlo Methods参考文献 39被引用数 3

ひとこと要約

本稿では、不定な時間スケールにおける線形・二次型（LQ）型確率的制御問題に対して、メッシュフリーなガレルキン離散化スキームを提案する。対数変換を用いることで問題を線形境界値問題に変換し、強いL²誤差バインディングを達成する。この手法はマークフ・意思決定問題と双対的であり、遷移状態関数ベースを用いた高次元系、特に分子動力学への応用を想定している。

ABSTRACT

We propose a novel Galerkin discretization scheme for stochastic optimal control problems on an indefinite time horizon. The control problems are linear-quadratic in the controls, but possibly nonlinear in the state variables, and the discretization is based on the fact that problems of this kind can be transformed into linear boundary value problems by a logarithmic transformation. We show that the discretized linear problem is dual to a Markov decision problem, the precise form of which depends on the chosen Galerkin basis. We prove a strong error bound in $L^{2}$ for the general scheme and discuss two special cases: a variant of the known Markov chain approximation obtained from a basis of characteristic functions of a box discretization, and a sparse approximation that uses the basis of committor functions of metastable sets of the dynamics; the latter is particularly suited for high-dimensional systems, e.g., control problems in molecular dynamics. We illustrate the method with several numerical examples, one being the optimal control of Alanine dipeptide to its helical conformation.

研究の動機と目的

• 従来のメッシュベースのPDEソルバーを避ける、LQ型確率的制御問題のメッシュフリー離散化手法の開発。
• 高次元系におけるPDEベース手法の計算非効率性の解消。
• 基底関数の選択を通じて、ガレルキン離散化とマークフ意思決定問題との双対性の確立。
• 一般スキームに対して強いL²誤差バインディングを確立し、収束を保証。
• 特に遷移状態集合の遷移関数ベースを用いたスパース基底を活用し、高次元制御問題（特に分子動力学）の効率的解法を可能に。

提案手法

• 元の非線形HJB方程式を対数変換により線形境界値問題に変換する。
• ユーザー定義の関数基底を用いてガレルキン射影を適用し、連続問題を離散的線形系に変換する。
• 得られた離散問題が、基底関数とシステムダイナミクスから導かれる遷移率を持つマークフ意思決定問題と双対的であることを示す。
• 2つの具体的な基底選択が分析された：ボックス離散化のための特性関数（マークフ連鎖近似を回復）、メタ安定状態に適応したスパース離散化のための遷移関数。
• 最良近似誤差制御による、強いL²誤差バインディングが保証され、付録Bで証明されている。
• ミルストンイングと経路確率公式を用いて、離散化された走行コストのサンプリングが可能である。詳細は付録Eに記載。

実験結果

リサーチクエスチョン

• RQ1 非線形状態依存性を有するLQ型確率的制御問題に、メッシュフリーなガレルキン法を効果的に適用可能か？
• RQ2 ガレルキン基底の選択が、双対マークフ意思決定問題および離散化精度に与える影響は何か？
• RQ3 この手法の収束挙動はどのように振る舞い、厳密なL²誤差バインディングを確立できるか？
• RQ4 この手法は、分子動力学のような高次元系を効率的に扱えるか？
• RQ5 遷移関数ベースの基底は、標準的なマークフ連鎖近似と比較して、スパarsityと精度の面でどのように異なるか？

主な発見

• 提案されたガレルキンスキームは、最良近似誤差制御による強いL²誤差バインディングを達成し、適切な基底選択のもとで収束を保証する。
• 離散化問題は、ガレルキン基底とシステムパラメータから明示的に導かれる遷移率を持つマークフ意思決定問題と双対的である。
• ボックス離散化の特性関数を用いることで、既知のマークフ連鎖近似が回復され、手法の整合性が検証された。
• メタ安定状態のための遷移関数を用いることで、スパースかつ高次元の離散化が可能となり、明確なメタ安定状態を有する系に対して特に効果的である。
• 1次元の三井ポテンシャルおよびアラニンジペプチドに対する数値結果から、この手法がコンformational遷移に向けた最適制御力を高精度で計算可能であることが示された。
• 式(34)に形式化されたサンプリング公式により、離散化された走行コストの効率的サンプリングが可能である。