[論文レビュー] HEI: hybrid explicit-implicit learning for multiscale problems

Yalchin Efendiev, Wing Tat Leung+2 more|arXiv (Cornell University)|Sep 5, 2021

Advanced Mathematical Modeling in Engineering参考文献 26被引用数 4

ひとこと要約

本稿では、多スケールPDEソルバーの高速化を図るために、陽的な微細スケール成分（$u_2$）を明示的に計算する一方で、陰的な粗スケール成分（$u_1$）を学習する、Hybrid Explicit-Implicit（HEI）学習という機械学習フレームワークを提案する。分割スキームを系列対系列翻訳タスクとして解釈することで、本手法は変換器（Transformers）を用いて多スケールダイナミクスをモデル化し、4つの数値例において相対$L_2$誤差が0.4%未満、エネルギー誤差が16%未満の安定的かつ高精度な予測を達成した。

ABSTRACT

Splitting is a method to handle application problems by splitting physics, scales, domain, and so on. Many splitting algorithms have been designed for efficient temporal discretization. In this paper, our goal is to use temporal splitting concepts in designing machine learning algorithms and, at the same time, help splitting algorithms by incorporating data and speeding them up. Since the spitting solution usually has an explicit and implicit part, we will call our method hybrid explicit-implict (HEI) learning. We will consider a recently introduced multiscale splitting algorithms. To approximate the dynamics, only a few degrees of freedom are solved implicitly, while others explicitly. In this paper, we use this splitting concept in machine learning and propose several strategies. First, the implicit part of the solution can be learned as it is more difficult to solve, while the explicit part can be computed. This provides a speed-up and data incorporation for splitting approaches. Secondly, one can design a hybrid neural network architecture because handling explicit parts requires much fewer communications among neurons and can be done efficiently. Thirdly, one can solve the coarse grid component via PDEs or other approximation methods and construct simpler neural networks for the explicit part of the solutions. We discuss these options and implement one of them by interpreting it as a machine translation task. This interpretation successfully enables us using the Transformer since it can perform model reduction for multiple time series and learn the connection. We also find that the splitting scheme is a great platform to predict the coarse solution with insufficient information of the target model: the target problem is partially given and we need to solve it through a known problem. We conduct four numerical examples and the results show that our method is stable and accurate.

研究の動機と目的

• 多スケールPDEの対照独立分割スキームを、機械学習と物理的分解を統合することで高速化すること。
• 陰的な粗スケール解（$u_1$）の計算ボトルネックを、データ駆動型モデルで学習することで解消し、陽的な成分（$u_2$）をPDEによって計算すること。
• 既知の近似問題からの情報のエンコードを用いて、不完全または部分的に観測されたターゲットモデルの粗スケール解のデータ同化を可能にすること。
• 陽的な成分（$u_2$）の構造的スパarsityを活用するハイブリッドニューラルアーキテクチャを設計し、学習の効率性と通信コストの低減を図ること。

提案手法

• 解を$u = u_1 + u_2$に分解し、$u_1$を陰的に扱い、$u_2$を陽的に扱う。これは多スケール分割の概念に基づく。
• $u_1$の粗スケール成分は、系列対系列翻訳タスクとして解釈された分割スキームを用いて、変換器ベースのモデルで時系列データに基づき予測する。
• $u_2$の陽的な成分はPDEまたは低次元モデルを用いて計算され、計算効率を高めるためにスパースなフォワードマップ構造を活用する。
• 3つの戦略を提案する：(1) $u_1$を学習しながら$u_2$を計算する、(2) $u_1$と$u_2$のための別々のヘッドを持つハイブリッドニューラルネットワークを用いる、(3) $u_1$と低次元モデルからのデータを用いて$u_2$を学習する。
• 本フレームワークは、既知の物理法則と近似問題からのデータを統合することで、粗スケール解の同化タスクにおける予測精度を向上させる。
• 本手法は、線形および非線形の多スケールPDEを含む4つの数値例を用いて検証され、高精度なFEM解と比較した。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、対照独立PDEの解法を高速化するために、多スケール分割スキームに効果的に統合可能か？
• RQ2 変換器アーキテクチャは、多スケール問題における粗スケール成分の時間的ダイナミクスをモデル化するためにどのように適合可能か？
• RQ3 $u_1$を学習しながら$u_2$を陽的に計算することで、計算コストを削減しつつ精度を損なわない程度にまで低減可能か？
• RQ4 分割フレームワークは、ターゲットモデル情報が不完全な状況でも、粗スケール解の同化に耐性があり、信頼性の高いプラットフォームとして機能可能か？
• RQ5 $u_1$を陰的に、$u_2$を陽的に扱うハイブリッドニューラルアーキテクチャは、標準的なディープラーニングモデルと比較して、安定性と精度の面で優れているか？

主な発見

• 非線形な粗スケール解の同化例において、HEI学習手法は予測された粗スケール成分$u_{H,1}^n$の相対$L_2$誤差を0.4%未満に達成した。
• $u_{H,1}^n + \tilde{u}_{H,2}^n$から再構築された微細スケール解のエネルギー相対誤差は、平均で11.996%にまで低下した。これは、$u_{H,1}^n$単体の15.498%と比較して顕著な改善である。
• 非線形例において、$u_{H,1}^n$の予測の相対$L_2$誤差は0.01%未満で維持され、長期予測における高い精度を示した。
• 変換器がクロススケール依存性を符号化し、長距離時間系列をモデル化できる能力を活用することで、多スケールダイナミクスにおける累積誤差を効果的に低減した。
• 粗スケール解の同化タスクにおいて、949ステップにわたる安定した予測が達成され、誤差プロファイルは一貫しており、発散は観察されなかった。
• $u_{H,2}^n$のための別個のモデルを用いることで、非線形例において最大相対誤差が0.1%未満に抑えられ、陽的な成分に対する高い忠実度が示された。