[論文レビュー] Learning to Control PDEs with Differentiable Physics

Philipp Holl, Vladlen Koltun+1 more|arXiv (Cornell University)|Jan 21, 2020

Model Reduction and Neural Networks参考文献 57被引用数 44

ひとこと要約

本論文は、微分可能な PDE ソルバーを備えた階層型の予測-修正フレームワークを導入し、PDE に支配されるシステムの長期視野の制御を学習する。部分観測可能性を伴う Burgers および incompressible Navier–Stokes の流れで実証される。

ABSTRACT

Predicting outcomes and planning interactions with the physical world are long-standing goals for machine learning. A variety of such tasks involves continuous physical systems, which can be described by partial differential equations (PDEs) with many degrees of freedom. Existing methods that aim to control the dynamics of such systems are typically limited to relatively short time frames or a small number of interaction parameters. We present a novel hierarchical predictor-corrector scheme which enables neural networks to learn to understand and control complex nonlinear physical systems over long time frames. We propose to split the problem into two distinct tasks: planning and control. To this end, we introduce a predictor network that plans optimal trajectories and a control network that infers the corresponding control parameters. Both stages are trained end-to-end using a differentiable PDE solver. We demonstrate that our method successfully develops an understanding of complex physical systems and learns to control them for tasks involving PDEs such as the incompressible Navier-Stokes equations.

研究の動機と目的

• 自由度の高い複雑な PDE に対する学習ベースの制御を動機づける。
• 制御をプランニング（予測）とアクション（修正）モジュールに分割する。
• 微分可能な PDE ソルバーを活用して、時系列を通じて逆伝播し、エンドツーエンドの学習を実現する。
• 複数の時間スケールにまたがる階層的な時系列モデリングにより、長期的な制御を実現する。
• 全状態ではなく観測可能な状態に基づいてエージェントを条件付けることで、部分観測性に対処する。

提案手法

• Observation Predictor (OP) と Control Force Estimator (CFE) を備えた予測-修正アーキテクチャを提案する。
• 時間ステップ間の中心点で、再帰的に中間観測可能状態の予測をモデル化し、複数の時間スケールにわたる時系列階層を作成する。
• 各時間スケールに対して固有の OP モデルをインスタンス化し、安定性と精度のために予測-精練実行スキームで訓練する。
• 微分可能な PDE ソルバー（PhiFlow）を用いて全軌道を逆伝播し、微分可能な物理損失で制御力を最適化する。
• 微分可能な物理損失を任意の教師あり損失と組み合わせ、目標観測と一致しつつ二乗の制御力の積分を最小化するエージェントを訓練する。
• 計画の精度と計算効率のバランスを取るための実行順序（予測の精練、交互実行）を議論する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルエージェントは、長期の時間範囲にわたって PDE によって支配されるシステムを制御することを学習できるか？
• RQ2 微分可能なソルバーを備えた階層型の予測-修正アーキテクチャは、部分観測下で安定した長期制御を可能にしますか？
• RQ3 時系列階層と予測の精練は、PDE制御におけるワンショット形式や純粋な教師ありアプローチとどう比較されますか？
• RQ4 観測可能状態での条件付けが制御性能に与える影響は何ですか？

主な発見

• 微分可能な物理損失は、純粋に教師あり訓練と比較して軌道再構築の品質を大幅に向上させる。
• 洗練された予測-修正スキームは、Burgers’ equation に対して、テストした方法の中で最小の制御力を達成した（14.2 ±0.7 対 83.4 ±2.0、CFE chain supervised の場合）。
• Burgers’ equation において、微分可能な物理設定と精練は、反復的最適化に比べて推論時間がはるかに短いまま、同等の軌道品質を達成する（3.05 ±0.37 ms）。
• 2D の不可マ流れにおいて、微分可能な物理を用いた staggered および refined スキームは、教師ありベースラインよりはるかに小さい力を必要とする（例：自然流れタスクで 22.6 ±1.1 vs 243 ±11）。
• 洗練された、微分物理予測は、 staggered 変種の最終損失の約半分を達成し、より滑らかな遷移でターゲット状態へ収束する。
• 学習済み解の多様体はほぼ瞬時の推論を可能にし、従来のソルバーの良い初期推定として機能して収束を改善する。