[論文レビュー] Hierarchical Deep Learning of Multiscale Differential Equation Time-Steppers

Yuying Liu, J. Nathan Kutz+1 more|arXiv (Cornell University)|Aug 22, 2020

Model Reduction and Neural Networks被引用数 16

ひとこと要約

本稿では、多スケールな力学系の流れ写像を学習することで、広い時間スケールにわたる正確で効率的な数値積分を可能にする階層的ディープラーニングフレームワーク、Hierarchical Time-Steppers (HiTS) を提案する。大きな時間ステップでの流れ写像を近似するためにディープニューラルネットワークを訓練することで、数値的剛性を回避し、標準的なRNNや古典的手法よりも精度と効率性に優れ、安定性制約なしに長期予測が可能となる。

ABSTRACT

Nonlinear differential equations rarely admit closed-form solutions, thus requiring numerical time-stepping algorithms to approximate solutions. Further, many systems characterized by multiscale physics exhibit dynamics over a vast range of timescales, making numerical integration computationally expensive due to numerical stiffness. In this work, we develop a hierarchy of deep neural network time-steppers to approximate the flow map of the dynamical system over a disparate range of time-scales. The resulting model is purely data-driven and leverages features of the multiscale dynamics, enabling numerical integration and forecasting that is both accurate and highly efficient. Moreover, similar ideas can be used to couple neural network-based models with classical numerical time-steppers. Our multiscale hierarchical time-stepping scheme provides important advantages over current time-stepping algorithms, including (i) circumventing numerical stiffness due to disparate time-scales, (ii) improved accuracy in comparison with leading neural-network architectures, (iii) efficiency in long-time simulation/forecasting due to explicit training of slow time-scale dynamics, and (iv) a flexible framework that is parallelizable and may be integrated with standard numerical time-stepping algorithms. The method is demonstrated on a wide range of nonlinear dynamical systems, including the Van der Pol oscillator, the Lorenz system, the Kuramoto-Sivashinsky equation, and fluid flow pass a cylinder; audio and video signals are also explored. On the sequence generation examples, we benchmark our algorithm against state-of-the-art methods, such as LSTM, reservoir computing, and clockwork RNN. Despite the structural simplicity of our method, it outperforms competing methods on numerical integration.

研究の動機と目的

• 広い時間スケールの差異によって引き起こされる多スケール力学系における数値的剛性を解消すること。
• 大規模時間間隔における流れ写像を学習するデータ駆動型でディープラーニングベースの時間ステッピングフレームワークを開発すること。
• 標準的なルンゲ＝クッタ法や再帰型ニューラルネットワーク手法を上回る長期シミュレーションの精度と計算効率を向上させること。
• 古典的数値ソルバーと連携可能な柔軟で並列処理可能なアーキテクチャを構築すること。
• 剛性と複雑さが標準的ソルバーに挑戦する、カオス的系、偏微分方程式、信号処理タスクへの手法の適用を示すこと。

提案手法

• 本手法は、局所的なテイラー級数近似を避けるために、深層ニューラルネットワークを用いて $ \boldsymbol{x}(t + \Delta t) - \boldsymbol{x}(t) \approx \hat{\boldsymbol{F}}(\boldsymbol{x}(t), \Delta t) $ の流れ写像を学習する。
• 多スケールダイナミクスを明示的に活用するため、大規模な $ \Delta t $ での状態遷移を予測するニューラルネットワークを用いた階層的アーキテクチャが採用される。
• リラクゼーション接続 $ \hat{\boldsymbol{F}}(\boldsymbol{x}, \Delta t) = \boldsymbol{x}_{t+\Delta t} - \boldsymbol{x}_t $ を用いることで、インクリメンタルダイナミクスの安定学習が可能となる。
• 2つのバリエーションが導入される：純粋にニューラルネットワークで構成される時間ステッパー（NNTS）と、ルンゲ＝クッタ法などの古典的手法と組み合わせたハイブリッド手法。
• 支配方程式の事前知識なしに、元のシステムからの軌道データを用いてフレームワークを訓練する。
• 本手法は並列処理可能であり、標準的数値ソルバーと統合することで安定性と速度が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、大きな時間ステップでの多スケール力学系の流れ写像を学習可能であり、数値的剛性を回避できるか？
• RQ2 階層的ニューラル時間ステッパーの性能は、古典的手法（ルンゲ＝クッタ法）と比較して、精度と計算コストの面でどうなるか？
• RQ3 LSTM やリザボア計算機などの最先端再帰型アーキテクチャに比べ、本手法は優れた長期予測精度を達成できるか？
• RQ4 学習データ量とネットワークの深さが、ローレンツ系のような複雑でカオス的な流れ写像の学習に与える影響は何か？
• RQ5 階層的構造が多スケール特徴をどれほど活用し、一般化性能と効率性を向上させられるか？

主な発見

• 提案された階層的時間ステッパー（HiTS）は、真のダイナミクスが未知であっても、古典的手法（ルンゲ＝クッタ法）と同等または優れた精度を達成する。
• 構造の単純さにもかかわらず、純粋にデータ駆動型のニューラルネットワーク時間ステッパー（NNTS）は、LSTM やリザボア計算機、クロックワークRNN よりもシーケンス生成タスクで優れた性能を示す。
• ニューラルネットワークとルンゲ＝クッタ法を組み合わせたハイブリッド時間ステッパーは、ベクトル化演算のおかげで高い効率性を達成する。
• ローレンツ系では、$ \Delta t = 0.008 $ のNNTSは1ステップ予測誤差が $ \mathcal{O}(1) $ のオーダーに達し、限られたデータとアーキテクチャではカオス的ダイナミクスを完全に捉えるのが難しいことが示された。
• 流れ写像の増分の可視化から、特にローレンツのようなカオス的系では時間の経過とともに複雑性が増加していることがわかった。これは、完全な精度を得るにはデータ量とモデル容量の指数的増加が必要である可能性を示唆している。
• 本手法により、遅いスケールのダイナミクスに明示的に学習させ、小さな時間ステップを避けることで、長期シミュレーションにおける計算コストを削減できる。