[論文レビュー] Taylor Expansions of the Value Function Associated with a Bilinear Optimal Control Problem

Tobias Breiten, Karl Kunisch+1 more|arXiv (Cornell University)|Jun 16, 2017

Optimization and Variational Analysis参考文献 40被引用数 25

ひとこと要約

この論文は、一般化されたリャプノフ方程式の再帰的解法を用いて、無限次元の双線形最適制御問題の価値関数の高次テイラー展開を開発する。この手法により、原点まわりの価値関数の多項式近似が構築され、初期状態が小さい場合に $ϴ(\|y_0\|^{p+1})$ の性能を達成する部分最適フィードバック則が得られ、最適制御への収束速度が $ϴ(\|y_0\|^{(p+1)/2})$ となる。

ABSTRACT

A general bilinear optimal control problem subject to an infinite-dimensional state equation is considered. Polynomial approximations of the associated value function are derived around the steady state by repeated formal differentiation of the Hamilton-Jacobi-Bellman equation. The terms of the approximations are described by multilinear forms, which can be obtained as solutions to generalized Lyapunov equations with recursively defined right-hand sides. They form the basis for defining a suboptimal feedback law. The approximation properties of this feedback law are investigated. An application to the optimal control of a Fokker-Planck equation is also provided.

研究の動機と目的

• 無限次元ヒルベルト空間における双線形最適制御問題の価値関数を近似する体系的な手法を開発すること。
• 価値関数の多項式近似に基づくフィードバック制御則を導出し、初期摂動が小さい場合に部分最適性能を保証すること。
• 部分最適フィードバック則の性能に対する厳密な誤差バウンドを確立し、最適制御への収束を定量的に評価すること。
• 有限次元における価値関数のテイラー展開技術を、特に偏微分方程式に支配される系を対象として無限次元設定に拡張すること。

提案手法

• ハミルトニアン・ジャコビ・ベルマン方程式の形式的微分を用いて、価値関数を原点まわりに $p+1$ 次のテイラー級数に展開する。
• 係数 $\mathcal{T}_k$ は、再帰的に定義された右辺を持つ一般化されたリャプノフ方程式を解くことで得られる多重線形形式である。
• 双線形形式 $\mathcal{T}_2$ は代数的リカッチ方程式を満たし、$k \geq 3$ の $\mathcal{T}_k$ は演算子 $A_\Pi$ と既知の右辺 $\mathcal{R}_k$ を含む一般化されたリャプノフ方程式を満たす。
• 導関数の対称性を活用して、置換集合と対称多重線形形式を用いた高次項のコンact表現を導出する。
• 部分最適フィードバック則を $\mathbf{u}_p(y) = -\frac{1}{\alpha} D\mathcal{V}_p(y)(Ny + B)$ として構築する。ここで $\mathcal{V}_p$ は価値関数の多項式近似である。
• 閉ループ系の適切な定義と収束性を解析し、テイラー展開の構造を用いて誤差推定を導出する。

実験結果

リサーチクエスチョン

• RQ1 無限次元の双線形最適制御問題に対して、価値関数の高次テイラー展開を厳密に構築することは可能か？
• RQ2 一般化されたリャプノフ方程式を用いて、テイラー展開の係数を再帰的に計算する方法は何か？
• RQ3 価値関数の多項式近似に基づくフィードバック則の性能保証は何か？
• RQ4 部分最適制御が真の最適制御に対してどの程度の収束速度を示すか？
• RQ5 提案手法は、例えばフォッカー・プランク方程式のようなPDE制約付き制御問題に適用可能か？

主な発見

• 価値関数は原点まわりに $p+1$ 次のテイラー展開をもち、$\mathcal{V}(y) - \mathcal{V}_p(y) = \mathcal{O}(\|y\|_Y^{p+1})$ である。
• $k \geq 2$ の係数 $\mathcal{T}_k$ は、再帰的に定義された右辺を持つ一般化されたリャプノフ方程式を満たす対称多重線形形式である。
• 部分最適フィードバック則 $\mathbf{u}_p$ は、コストが $\mathcal{J}(\mathbf{U}_p(y_0), y_0) \leq \mathcal{V}(y_0) + \mathcal{O}(\|y_0\|_Y^{p+1})$ を満たすオープンループ制御を生成する。
• 部分最適制御は、$y_0$ が小さい場合に $L^2(0,\infty)$ で $\|\mathbf{U}_p(y_0) - \bar{u}\|_{L^2} = \mathcal{O}(\|y_0\|_Y^{(p+1)/2})$ の速度で真の最適制御に収束する。
• この手法は、フォッカー・プランク方程式を含む無限次元系に適用可能であり、PDE制約付き制御への関連性を示している。
• 本分析により、無限次元双線形制御系における高次テイラーに基づくフィードバック則の収束速度に関する、初めての厳密な推定が得られた。