[論文レビュー] Combining Physics-Based Domain Knowledge and Machine Learning using Variational Gaussian Processes with Explicit Linear Prior.

Daniel Marino, Milos Manic|arXiv (Cornell University)|Jun 5, 2019

Gaussian Processes and Bayesian Inference参考文献 15被引用数 5

ひとこと要約

本稿では、ニュートン力学などの部分的な物理的ドメイン知識を明示的な線形事前分布として統合することで、誘導的バイアス、スケーラビリティ、解釈可能性を向上させる、変分ガウス過程モデルであるEVGPを提案する。データ駆動型学習とニュートン力学を組み合わせることで、特にデータが少ない状況下でも、完全にデータ駆動型のモデルよりも一般化性能が著しく向上する。

ABSTRACT

Centuries of development in natural sciences and mathematical modeling provide valuable domain expert knowledge that has yet to be explored for the development of machine learning models. When modeling complex physical systems, both domain knowledge and data contribute important information about the system. In this paper, we present a data-driven model that takes advantage of partial domain knowledge in order to improve generalization and interpretability. The presented model, which we call EVGP (Explicit Variational Gaussian Process), uses an explicit linear prior to incorporate partial domain knowledge while using data to fill in the gaps in knowledge. Variational inference was used to obtain a sparse approximation that scales well to large datasets. The advantages include: 1) using partial domain knowledge to improve inductive bias (assumptions of the model), 2) scalability to large datasets, 3) improved interpretability. We show how the EVGP model can be used to learn system dynamics using basic Newtonian mechanics as prior knowledge. We demonstrate that using simple priors from partially defined physics models considerably improves performance when compared to fully data-driven models.

研究の動機と目的

• 物理法則からの部分的なドメイン知識を活用する機械学習モデルを開発し、誘導的バイアスとモデル性能を向上させること。
• データが不足している場合に、完全にデータ駆動型のモデルが未確認のシナリオに一般化できないという限界を解消すること。
• ガウス過程回帰を大規模データセットにスケーリングしつつ、解釈可能性と専門家知識の統合を維持すること。
• 部分的な物理的事前知識でさえ、システムダイナミクスモデリングにおける学習を著しく向上させられることを実証すること。

提案手法

• EVGPモデルは、既知の物理法則（例：ニュートン力学）から導出された明示的な線形事前分布を用い、モデル構造に部分的なドメイン知識を組み込む。
• スパース近似を導出するための変分推論が適用され、大規模データセット上での効率的な学習と推論を可能にする。
• 確率的フレームワークを通じて、事前知識と観測データを統合し、不確実性の定量化とロバストな学習を可能にする。
• 明示的な線形事前分布がガウス過程の平均関数に埋め込まれており、モデルが既知の物理的制約を尊重することを保証する。
• 変分近似により、計算が容易な最適化とスケーラビリティが実現され、実世界の応用に適したアプローチとなる。

実験結果

リサーチクエスチョン

• RQ1 部分的な物理的知識を機械学習モデルに効果的に組み込むことができるか？
• RQ2 物理的事前分布を組み込むことで、完全にデータ駆動型のアプローチと比較してモデル性能がどのように向上するか？
• RQ3 変分推論は、解釈可能性と誘導的バイアスを維持しつつ、ガウス過程のスケーラビリティをどの程度向上させられるか？
• RQ4 ニュートン力学から導出された単純な線形事前分布が、システムダイナミクスの学習を著しく改善できるか？

主な発見

• EVGPは、物理的事前分布による誘導的バイアスの向上のおかげで、データが限られる状況下でも完全にデータ駆動型のモデルを上回る性能を発揮する。
• ニュートン力学を線形事前分布として統合することで、ベースラインモデルと比較してより正確で物理的に妥当な予測が得られる。
• 変分推論アプローチにより、不確実性推定を維持したまま大規模データセットへの効率的スケーリングが可能である。
• 明示的な線形事前分布のおかげで、物理法則が予測にどのように影響しているかを直接確認できるため、モデルの解釈性が向上している。