[論文レビュー] Living in the Physics and Machine Learning Interplay for Earth Observation

Gustau Camps‐Valls, Daniel Heestermans Svendsen+8 more|arXiv (Cornell University)|Oct 18, 2020

Scientific Computing and Data Management参考文献 44被引用数 4

ひとこと要約

本論文は、物理ベースのモデルと機械学習を統合するハイブリッドフレームワークを提案し、地球観測システムの整合性、信頼性、一般化性能を向上させることを目的としている。質量保存則やエネルギー保存則といった物理法則を制約付き学習を通じてデータ駆動型モデルに組み込むことで、物理に配慮したニューラルネットワークは、より優れた一般化性能、低い過学習、向上した解釈可能性を達成する。実証結果では、標準的手法と比較して、パラメータ推定誤差が1000倍まで低減されている。

ABSTRACT

Most problems in Earth sciences aim to do inferences about the system, where accurate predictions are just a tiny part of the whole problem. Inferences mean understanding variables relations, deriving models that are physically interpretable, that are simple parsimonious, and mathematically tractable. Machine learning models alone are excellent approximators, but very often do not respect the most elementary laws of physics, like mass or energy conservation, so consistency and confidence are compromised. In this paper, we describe the main challenges ahead in the field, and introduce several ways to live in the Physics and machine learning interplay: to encode differential equations from data, constrain data-driven models with physics-priors and dependence constraints, improve parameterizations, emulate physical models, and blend data-driven and process-based models. This is a collective long-term AI agenda towards developing and applying algorithms capable of discovering knowledge in the Earth system.

研究の動機と目的

• 地球科学分野で用いられる完全にデータ駆動型の機械学習モデルにおける物理的整合性の欠如に対処すること。
• エネルギー保存則や質量保存則といった基本的な物理法則を機械学習アーキテクチャに組み込むことで、モデルの信頼性と一般化性能を向上させること。
• 物理的事前知識を用いたパラメータ空間の制約により、過学習とデータ要件を低減すること。
• 物理に配慮したベイズ推論を用いて、複雑な地球システムモデルにおける頑健なパラメータ推定と不確実性の定量化を可能とすること。
• データ駆動型とプロセスベースのモデリングを統合するハイブリッドAIアジェンダを構築し、地球観測分野における科学的発見を促進すること。

提案手法

• 微分方程式や保存則を機械学習モデルの損失関数に直接埋め込むことで、物理に配慮したニューラルネットワーク（PINNs）を用いる。
• 逆問題モデリングにおける複雑で高次元の事後分布からの効率的サンプリングのために、変分推論とGibbsサンプリングにFUSSアルゴリズムを適用する。
• カーネルベースの分布マッチングと従属制約を用いて、データ駆動型モデルと物理モデルの間の統計的整合性を強制する。
• 計算コストの高い物理シミュレータの代わりに、高速で微分可能な代替モデル（モデルエミュレーション）を用いる。
• ベイズフレームワークにおける事前制約を通じてドメイン知識を統合し、物理的に妥当な解に制限された探索空間を設定する。
• 変分アプローチを用いて前向きおよび逆問題モデリングを統合し、同時に潜在関数、駆動力、パラメータを推定する。

実験結果

リサーチクエスチョン

• RQ1 地球観測において、高い予測精度を維持しつつ、機械学習モデルの物理的整合性をどのように確保できるか？
• RQ2 保存則や微分方程式をデータ駆動型モデルに効果的に組み込む方法は何か？
• RQ3 物理に配慮した機械学習は、少ない学習データで過学習を低減し、一般化性能を向上させられるか？
• RQ4 地球システムモデリングにおいて生じる高次元かつ複雑な事後分布において、どのように効率的なベイズ推論を実行できるか？
• RQ5 ハイブリッドモデルは、物理系における不確実性の定量化とパラメータ推定をどの程度向上させられるか？

主な発見

• 物理に配慮した機械学習モデルは、物理的に妥当な領域に制限されたパラメータ空間を制約することで、顕著な一般化性能の向上と過学習の低減を達成する。
• 混沌とした系において、FUSSをGibbsサンプリングに組み込むことで、標準的なメトロポリス・ハスティングス法（MH）を用いたGibbsサンプリングと比較して、平均二乗誤差（MSE）が1000倍以上低減された。
• 実証結果では、ノイズがかかるロジスティック写像におけるパラメータRとΩの推定において、MSEが10^-4のオーダーであるのに対し、標準的なMH-within-Gibbs法ではMSEが約0.65にとどまっている。
• 物理の統合により、スパースで解釈性の高いモデルが得られ、同程度の性能を達成するための学習データ量が削減される。
• 物理にインフォームドな制約は、モデルの信頼性を向上させ、観測データを超えた外挿を可能にし、純粋なデータ駆動型モデルの主な限界を克服する。
• ハイブリッドモデリングフレームワークは計算効率を向上させ、不確実性の定量化を支援するため、複雑な地球システム応用に適している。