[論文レビュー] Deep Learning for Physical Processes: Incorporating Prior Scientific Knowledge

Emmanuel de Bézenac, Arthur Pajot+1 more|arXiv (Cornell University)|Nov 21, 2017

Model Reduction and Neural Networks参考文献 42被引用数 249

ひとこと要約

この論文は、アドvection-拡散物理に導かれたモーションフィールドを学習することでSSTの予測を実現する深層学習アーキテクチャを提示し、微分可能なワーピングと数値モデルおよびNNベースラインとの比較を可能にします。

ABSTRACT

We consider the use of Deep Learning methods for modeling complex phenomena like those occurring in natural physical processes. With the large amount of data gathered on these phenomena the data intensive paradigm could begin to challenge more traditional approaches elaborated over the years in fields like maths or physics. However, despite considerable successes in a variety of application domains, the machine learning field is not yet ready to handle the level of complexity required by such problems. Using an example application, namely Sea Surface Temperature Prediction, we show how general background knowledge gained from physics could be used as a guideline for designing efficient Deep Learning models. In order to motivate the approach and to assess its generality we demonstrate a formal link between the solution of a class of differential equations underlying a large family of physical phenomena and the proposed model. Experiments and comparison with series of baselines including a state of the art numerical approach is then provided.

研究の動機と目的

• 一般的な物理知識が複雑な輸送現象に対する深層学習モデル設計をどのように導くことができるかを動機づける。
• モーションフィールドを jointly 推定し、最後の入力フレームをワープしてSSTを予測するニューラルアーキテクチャを提案する。
• モデルとアドvection-拡散方程式の解との形式的な関係を示す。
• 数値同化法とニューラルベースラインとで競争力と効率性を評価する。

提案手法

• 2成分モデルを導入する：ピクセルごとのモーションフィールドを推定する畳み込み-デコンボリューションネットワーク（CDNN）と、次のSST画像を予測する微分可能なワーピングモジュール。
• 前のピクセル位置を中心としたガウス基底のカーネルを用いて最後の入力画像をワープし（アドvection-拡散に触発）、I_{t+1}を得る。
• Charbonnier損失を用いてワープされた予測と真の次の画像との乖離を最小化することでエンドツーエンドで学習し、モーションフィールドの発散・大きさ・勾配に関する正則化項を損失に含める（任意）。
• アドvection-拡散方程式 I(x,t) = ∫ k(x-w,y) I0(y) dy を k がガウス核であるとして正式な結びつきを提供し、アーキテクチャを物理に grounded にする。
• 予測画像をネットワークに再入力することで自己回帰的なマルチステップ予測を可能にする。
• このアプローチがアドvection-拡散に支配される輸送問題へどのように一般化できるかを論じる。

実験結果

リサーチクエスチョン

• RQ1 現代の深層学習技術は、従来のPDEベース手法と同等に複雑な物理輸送現象をモデル化できるか？
• RQ2 物理知識を深層学習アーキテクチャに組み込むことでSST予測を改善できるか？
• RQ3 学習されたモーションフィールドと基礎となるアドvection-拡散ダイナミクスとの関係は何か？
• RQ4 物理に基づいた微分可能ワーピング機構は、SST予測の最先端数値モデルや他のNNベースラインと競争力があるか？

主な発見

• 提案された正則化モデルは、評価したモデルの中でSST予測の平均二乗誤差（MSE）で最良を達成。
• モーションフィールドの正則化（発散・大きさ・滑らかさ）は、正則化なしバージョンと比較して性能を向上。
• 正則化付きモデルは平均MSEが1.42、実行時間0.040sで、数値モデル1.99（4.8s）および他のNNベースラインを上回る。
• ConvLSTM（MSE 5.76, 0.018 s）およびACNN（MSE 15.84, 0.54 s）と比較して提案手法はより正確でなおかつ高速。
• GANベースのベースライン（Mathieuら, 2015）は4.73 MSE（0.096 s）を達成するが、正則化モデルには及ばない。
• このアプローチはSSTのアドvection動態を反映する解釈可能なモーションフィールドを生み出す。