[論文レビュー] A fast iterative PDE-based algorithm for feedback controls of nonsmooth mean-field control problems

Christoph Reisinger, Wolfgang Stockinger+1 more|arXiv (Cornell University)|Aug 15, 2021

Model Reduction and Neural Networks参考文献 46被引用数 5

ひとこと要約

本稿では、連携状態・制御平均場相互作用を伴う滑らかでない平均場制御問題におけるフィードバック制御を計算するための高速反復的PDEベースのアルゴリズム、FIPDEを提案する。前向き・後向き分割、プロキシマル勾配ステップ、動的に更新されるモーメンタムを組み合わせることで、有限差分法またはニューラルネットワークを用いて高次元のMcKean-Vlasov SDEを効率的に解き、滑らかでない制御構造を捉えることに成功し、Cucker-Smaleモデルのスパース安定化においても高い性能を発揮する。

ABSTRACT

We propose a PDE-based accelerated gradient algorithm for optimal feedback controls of McKean-Vlasov dynamics that involve mean-field interactions both in the state and action. The method exploits a forward-backward splitting approach and iteratively refines the approximate controls based on the gradients of smooth costs, the proximal maps of nonsmooth costs, and dynamically updated momentum parameters. At each step, the state dynamics is approximated via a particle system, and the required gradient is evaluated through a coupled system of nonlocal linear PDEs. The latter is solved by finite difference approximation or neural network-based residual approximation, depending on the state dimension. We present exhaustive numerical experiments for low and high-dimensional mean-field control problems, including sparse stabilization of stochastic Cucker-Smale models, which reveal that our algorithm captures important structures of the optimal feedback control and achieves a robust performance with respect to parameter perturbation.

研究の動機と目的

• 滑らかでないコスト関数と連携平均場相互作用を伴う平均場制御問題における最適フィードバック制御を数値的に効率的かつ安定して計算するアルゴリズムの開発。
• 滑らかでないコスト関数（スパース誘導型や制御制約を含む）を伴う高次元のMcKean-Vlasov SDEを解く課題への対処。
• PDEベースの勾配評価と反復的プロキシマル最適化、および粒子ベースのダイナミクスシミュレーションを組み合わせることで、最適フィードバック則の実用的計算を可能にすること。
• 低次元および高次元問題において、特に確率的Cucker-Smaleモデルにおけるスパース制御を含む、滑らかでない制御構造の捉え込みを含め、安定性と精度を示すこと。

提案手法

• コスト汎関数の勾配から生じる非局所的線形PDEの連立系の解法を、前向き・後向き分割法により分離する。
• ℓ1正則化や制御制約のための指示関数など、コスト関数の滑らかでない成分を処理するためにプロキシマル写像を適用する。
• 加速勾配法の枠組みに従い、各反復でモーメンタムパラメータを動的に更新することで収束を加速する。
• 状態ダイナミクスは、N個の軌道を用いた粒子近似によりシミュレートされ、コストおよび勾配の経験的推定が可能になる。
• PDE系は低次元では有限差分法、高次元ではニューラルネットワークベースの残差近似により解かれる。
• 教師あり学習ステップにより、ニューラルネットワークを訓練して価値関数およびその勾配を近似し、ミニバッチの内部および境界点上でAdam最適化器を用いて損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 PDEベースの反復的アルゴリズムは、滑らかでないコスト関数を伴う平均場制御問題におけるフィードバック制御を、効率的に計算できるか？
• RQ2 提案されたFIPDE法は、特にℓ1ノルムのような滑らかでない正則化を伴う高次元設定において、どのように性能を発揮するか？
• RQ3 動的モーメンタムおよびプロキシマル更新の影響は、滑らかでないMFC問題の収束速度と安定性にどのように及ぶか？
• RQ4 アルゴリズムは、Cucker-Smale系のようなモデルにおいて、スパース性といった最適制御の構造的特徴をどれほど正確に捉えられるか？

主な発見

• FIPDEアルゴリズムは、高次元状態空間を伴う確率的Cucker-Smaleモデルにおいても、最適フィードバック制御のスパース構造を正確に捉えている。
• 6次元Cucker-Smaleモデルでは、β=0のとき約20分/反復で安定した収束を達成し、β=1のときには約8時間/反復と、相互作用カーネルの複雑さに伴い計算コストが上昇している。
• NNPG法は6次元問題に対して約20〜40分を要したが、FIPDE法は反復あたりは高速であったが、反復回数が多くなったため、合計時間は長くなった。
• アルゴリズムはパrameterの摂動に対して頑健であり、Cucker-Smaleモデルにおけるβおよびγ₂の異なる値に対しても安定した性能を維持した。
• ニューラルネットワークベースのPDEソルバーの使用により、有限差分法では不適切となる高次元問題の効果的処理が可能になった。
• 十分な反復回数を経て経験的損失が安定化し、学習率スケジューリングがすべてのテストケースにおいて収束行動を著しく改善した。