[論文レビュー] Data-Driven Recovery of Optimal Feedback Laws through Optimality Conditions and Sparse Polynomial Regression

Behzad Azmi, Dante Kalise+1 more|arXiv (Cornell University)|Jul 19, 2020

Model Reduction and Neural Networks参考文献 49被引用数 5

ひとこと要約

本稿では、Pontryaginの最大原理を状態価値ペアおよび勾配の生成に用いる表現式として活用し、LASSO回帰によるスパース多項式モデルのフィッティングにより、高次元最適フィードバック則をデータ駆動で計算する手法を提案する。勾配データを含めることで、トレーニングサンプルの必要数を削減でき、より低次元のフィードバック則が得られる。

ABSTRACT

A data-driven approach for the computation of high-dimensional optimal feedback laws arising in deterministic nonlinear control is proposed. The approach exploits the control-theoretical link between Hamilton-Jacobi-Bellman PDEs characterizing the value function of the optimal control problems, and first-order optimality conditions via Pontryagin's Maximum Principle. The latter is used as a representation formula to recover the value function and its gradient at arbitrary points in the space-time domain through the solution of a two-point boundary value problem. After generating a dataset consisting of different state-value pairs, a hyperbolic cross polynomial model for the value function is fitted using a LASSO regression. An extended set of low and high-dimensional numerical tests in nonlinear optimal control reveal that enriching the dataset with gradient information reduces the number of training samples, and that the sparse polynomial regression consistently yields a feedback law of lower complexity.

研究の動機と目的

• 高次元非線形制御問題における最適フィードバック則をスケーラブルに計算するデータ駆動的手法の開発。
• ハミルトニアン・ジョルダン・ベルマンPDEとPontryaginの最大原理との関係を活用し、効率的な価値関数回復を実現。
• LASSO正則化を用いたスパース多項式回帰により、フィードバック則の複雑さを低減。
• トレーニングデータセットに勾配情報が含まれる場合の、サンプル効率性とモデル複雑度への影響の調査。

提案手法

• 2点境界値問題の数値的解法により、任意の状態時刻点における価値関数およびその勾配をPontryaginの最大原理を用いて計算。
• 2点境界値問題の数値的解法を通じて、状態-価値ペアおよび対応する勾配値のデータセットを生成。
• 高次元空間における価値関数の表現に、双曲的クロス多項式基底を構築。
• スパース多項式モデルをデータセットにフィットさせるためにLASSO回帰を適用し、低次元の解を促進。
• サンプル効率性とモデル精度の向上を図るため、トレーニングデータセットに勾配情報を追加。
• 低次元および高次元の非線形最適制御問題の範囲で、手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 Pontryaginの最大原理を、高次元制御問題におけるフィードバック則近似のトレーニングデータ生成にどのように活用できるか。
• RQ2 トレーニングデータセットに勾配情報を含めることで、必要なサンプル数にどのような影響が生じるか。
• RQ3 LASSOを用いたスパース多項式回帰は、非線形系における最適フィードバック則の構造を効果的に捉えることができるか。
• RQ4 勾配データの組み込みが、得られるフィードバック則のスパarsityおよび複雑さに与える影響は。
• RQ5 提案手法が高次元最適制御問題にどの程度スケーラブルに適用可能か。

主な発見

• トレーニングデータセットに勾配情報を含めることで、正確なフィードバック則近似に必要なトレーニングサンプル数が顕著に削減される。
• スパース多項式回帰モデルは、常に密度型モデルよりも低次元のフィードバック則を一貫して得る。
• 本手法は、低次元および高次元の非線形最適制御問題の両方で、正確なフィードバック則回復を達成する。
• 双曲的クロス多項式基底の使用により、高次元価値関数の効果的な近似が可能になる。
• 勾配データをトレーニングプロセスに組み込むことで、サンプル効率性とモデルスパarsityの両方が向上する。
• 本手法により導かれるフィードバック則は、計算的に効率的であり、リアルタイム実装に適している。