[論文レビュー] NeuPDE: Neural Network Based Ordinary and Partial Differential Equations for Modeling Time-Dependent Data

Yifan Sun, Linan Zhang+1 more|arXiv (Cornell University)|Aug 8, 2019

Neural Networks and Applications被引用数 25

ひとこと要約

NeuPDE は、時間依存データを常微分方程式（ODE）および偏微分方程式（PDE）でモデル化する物理情報付きニューラルネットワークフレームワークを提案する。このフレームワークは、高次モナーミアル項と有限差分作用素を含む浅い多層パーセプトロン（MLP）でパrameter化されたものである。動的システムのモデリング精度を向上させるとともに、画像分類タスクにおけるパラメータ数を削減し、MNIST では 0.51%、Fashion MNIST では 7.6% の誤差を達成した。それぞれ 0.18M および 0.38M のパラメータで、標準的な MLP や ResNet よりもパラメータ効率に優れた性能を示した。

ABSTRACT

We propose a neural network based approach for extracting models from dynamic data using ordinary and partial differential equations. In particular, given a time-series or spatio-temporal dataset, we seek to identify an accurate governing system which respects the intrinsic differential structure. The unknown governing model is parameterized by using both (shallow) multilayer perceptrons and nonlinear differential terms, in order to incorporate relevant correlations between spatio-temporal samples. We demonstrate the approach on several examples where the data is sampled from various dynamical systems and give a comparison to recurrent networks and other data-discovery methods. In addition, we show that for MNIST and Fashion MNIST, our approach lowers the parameter cost as compared to other deep neural networks.

研究の動機と目的

• 時間系列および空間時間的データから支配的 ODE/PDE モデルを抽出するデータ駆動型手法を開発し、内在する微分構造を保持すること。
• 画像分類用の深層学習モデルにおけるパラメータ数を削減するため、ネットワークアーキテクチャに連続的微分構造を埋め込むこと。
• 多項式辞書と有限差分カーネルを用いて物理的相関を組み込むことで、低次元モデルにおける空間的精度と一般化性能を向上させること。
• 元々の動的システムの連続的で滑らかな性質をより適切に反映する、RNN や標準的な DNN の代替手段を提供すること。
• 科学的モデリングおよびコンピュータビジョンタスクにおいて、ニューラルネットワークと微分方程式フレームワークを組み合わせた有効性を実証すること。

提案手法

• ODE の右辺 $ \dot{x} = f(t, x) $ を、指定された次数までの多項式項の辞書を用いた浅い MLP でパラメータ化し、変数間の高次相関を捉える。
• PDE モデリングのため、学習可能な 6 種類の有限差分作用素（例：$ \partial_x, \partial_y, \partial_{xx}, \partial_{yy}, \partial_{xy} $）の線形結合を用いた PDE ブロックを採用し、空間微分を近似する。
• 残差接続、バッチ正則化、ReLU 活性化関数、2D 最大プーリングを統合したアーキテクチャであり、最終層は全結合層を介して分類スコアへマッピングする。
• 最適化には確率的勾配降下法を用い、交差エントロピー損失関数を採用。ODE の統合には数値積分法（例：前進オイラー法や高次精度法）を用い、時間的に状態を前方に伝搬する。
• 標準的な畳み込みとは異なり、微分作用素をネットワークのカーネル構造に直接埋め込むことで、物理的整合性を確保する。
• 多項式と微分作用素による構造的特徴工学により、MLP の幅を削減することで、パラメータ効率の良いモデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの ODE/PDE フレームワークは、時間系列および空間時間的データから支配的方程式を効果的に抽出できるか、かつ連続的ダイナミクスを保持できるか？
• RQ2 高次モナーミアル項と有限差分作用素を組み込むことで、標準的な MLP や RNN と比較して、モデリング精度がどのように向上するか？
• RQ3 この手法は、精度を損なわず、画像分類用の深層学習モデルにおけるパラメータ数をどの程度削減できるか？
• RQ4 NeuPDE アーキテクチャは、MNIST および Fashion MNIST におけるパラメータ効率と予測性能の面で、ResNet や ODENet と比較してどう異なるか？
• RQ5 構造的微分層は、動的システムの低次元モデルにおける一般化性能と空間的精度を向上させることができるか？

主な発見

• MNIST データセットでは、NeuPDE はたった 0.18M のパラメータで 0.51% のテスト誤差を達成し、標準的な MLP（1.6% 誤差、0.24M パラメータ）を上回り、ODENet（0.51% 誤差、0.22M パラメータ）と同等の精度を達成しながらも、より少ないパラメータ数で実現した。
• Fashion MNIST データセットでは、NeuPDE は 0.38M のパラメータで 7.6% のテスト誤差を達成し、ResNet18（2.78M パラメータ）よりも顕著に少ないパラメータ数で、単純な MLP（11.67% 誤差、0.248M パラメータ）と同等の性能を示した。
• 精度を維持しながら、ResNet18 と比較して最大 85% のパラメータ削減を達成した。これは、画像分類における顕著なパラメータ効率を示した。
• 多項式辞書と有限差分作用素の使用により、高次相関の捉え込みが向上し、PDE モデリングにおける空間的精度も向上した。
• 複雑な空間時間的ダイナミクスを示す多様な動的システムにおいても、高い予測性能を維持した。特に、時間的規則性を保つ点で RNN より優れた性能を示した。
• 物理的解釈可能性を備えた支配的方程式の同定と過学習の低減を可能にするため、科学的モデリング分野への応用の可能性を示した。