[論文レビュー] Learning to Discretize: Solving 1D Scalar Conservation Laws via Deep Reinforcement Learning

Yufei Wang, Ziju Shen+2 more|arXiv (Cornell University)|May 27, 2019

Model Reduction and Neural Networks参考文献 44被引用数 5

ひとこと要約

本稿では、1次元スカラー保存則を解くための適応的数値離散化を学習するための深層強化学習（DRL）フレームワークを提案する。解法プロセスを逐次的意思決定問題として扱い、局所的解状態に基づいて最適な有限差分スティンシルを動的に選択する方策ネットワークを学習することで、WENOスキームやL3DやPINNsといった教師あり学習ベースラインよりも優れた精度と一般化性能を達成する。

ABSTRACT

Conservation laws are considered to be fundamental laws of nature. It has broad applications in many fields, including physics, chemistry, biology, geology, and engineering. Solving the differential equations associated with conservation laws is a major branch in computational mathematics. The recent success of machine learning, especially deep learning in areas such as computer vision and natural language processing, has attracted a lot of attention from the community of computational mathematics and inspired many intriguing works in combining machine learning with traditional methods. In this paper, we are the first to view numerical PDE solvers as an MDP and to use (deep) RL to learn new solvers. As proof of concept, we focus on 1-dimensional scalar conservation laws. We deploy the machinery of deep reinforcement learning to train a policy network that can decide on how the numerical solutions should be approximated in a sequential and spatial-temporal adaptive manner. We will show that the problem of solving conservation laws can be naturally viewed as a sequential decision-making process, and the numerical schemes learned in such a way can easily enforce long-term accuracy. Furthermore, the learned policy network is carefully designed to determine a good local discrete approximation based on the current state of the solution, which essentially makes the proposed method a meta-learning approach. In other words, the proposed method is capable of learning how to discretize for a given situation mimicking human experts. Finally, we will provide details on how the policy network is trained, how well it performs compared with some state-of-the-art numerical solvers such as WENO schemes, and supervised learning based approach L3D and PINN, and how well it generalizes.

研究の動機と目的

• 高次の適応的数値解法を設計する課題に取り組み、精度と頑健性のバランスをとる。
• WENOスキームなどで見られるように、熟練者によるルールやヒューリスティクスに依存する伝統的手法の限界を克服する。
• 教師あり事前学習に依存せず、離散化意思決定と長期的解の精度を統合したエンドツーエンドの学習フレームワークを構築する。
• 強化学習が熟練者の意思決定を模倣するメタ学習方策を学習できるかを検討する。
• 学習分布外の初期条件や方程式設定（非粘性、粘性、外力）の多様な設定において、一般化性能を評価する。

提案手法

• 数値解法プロセスを、各空間的・時間的ステップが意思決定状態に対応するマルコフ意思決定過程（MDP）としてモデル化する。
• 局所的解の特徴に基づいて最適な有限差分スティンシル（フラックス近似）を選択する方策ネットワークを、深層強化学習により訓練する。
• 行動空間は離散的な数値フラックススキームの選択を符号化し、長期的な精度と安定性を促進するように報酬を設計する。
• メタ学習設計を採用し、現在の解状態に応じて離散化戦略を適応的に変更することで、熟練者の行動を模倣する。
• 報酬関数は時間経過に伴う誤差蓄積をペナルティとして課し、長期的精度を促進する。
• フレームワークは、さまざまな初期条件と外力項を伴う粘性および非粘性のバーガース方程式を対象に評価される。

実験結果

リサーチクエスチョン

• RQ1 1次元スカラー保存則を解くプロセスは、強化学習に適した逐次的意思決定問題として自然に定式化できるか？
• RQ2 深層強化学習エージェントは、局所的に適応する数値フラックス方策を学習でき、固定の高次スキーム（例：WENO）よりも高い精度を達成できるか？
• RQ3 学習済みRLベースの解法は、教師あり学習手法（例：L3D、PINNs）よりも分布外のテストケースに対して一般化性能が優れているか？
• RQ4 DRLエージェントは、局所的解の特徴に基づいて離散化戦略を選択するメタ学習方策を学習でき、熟練者の知識を模倣できるか？
• RQ5 異なるPDE設定において、RLベースの解法の長期的精度と頑健性はどのように比較されるか？

主な発見

• RLベースの解法（RL-WENO）は、すべてのテスト設定でWENOを上回る低い相対誤差を達成した。
• Δx = 0.02 および η = 0.01 の粘性バーガース方程式において、RL-WENOは相対誤差 1.64（±0.57）を達成し、WENOの 1.94（±0.55）を上回った。
• 外力が作用するテスト設定では、RL-WENOは一般化性能に優れ、Δx = 0.01 で相対誤差 4.66（±0.72）を達成した。WENOは 4.74（±0.70）であった。
• 訓練時に粘性設定のみを用いた場合でも、RL-WENOは非粘性テストケースで 1.01（±0.19）の誤差を達成し、WENOの 1.02（±0.27）を上回った。
• L3D や PINNs とは異なり、分布シフト下でも失敗したり爆発したりせず、多様なテスト設定で安定的かつ高精度な性能を維持した。
• 本手法は強力な分布外一般化を示し、非粘性、粘性、外力設定のすべてで一貫した性能を発揮した。これは、頑健な方策学習の成功を示している。