[論文レビュー] Robust subsampling-based sparse Bayesian inference to tackle four challenges (large noise, outliers, data integration, and extrapolation) in the discovery of physical laws from data

Sheng Zhang, Guang Lin|arXiv (Cornell University)|Jul 17, 2019

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、高ノイズ、外れ値、複数の実験からのデータ統合、および外挿の4つの挑戦に直面した際の、データから物理法則を発見するためのロバストな部分サンプリングに基づくスパースベイジアン推論手法を提案する。最適な部分サンプリングとスパースベイジアン学習を組み合わせることで、精度と一般化性能が向上し、ノイズ多め、外れ値を含む、および異種のデータセットにおける数値ベンチマークにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

The derivation of physical laws is a dominant topic in scientific research. We propose a new method capable of discovering the physical laws from data to tackle four challenges in the previous methods. The four challenges are: (1) large noise in the data, (2) outliers in the data, (3) integrating the data collected from different experiments, and (4) extrapolating the solutions to the areas that have no available data. To resolve these four challenges, we try to discover the governing differential equations and develop a model-discovering method based on sparse Bayesian inference and subsampling. The subsampling technique is used for improving the accuracy of the Bayesian learning algorithm here, while it is usually employed for estimating statistics or speeding up algorithms elsewhere. The optimal subsampling size is moderate, neither too small nor too big. Another merit of our method is that it can work with limited data by the virtue of Bayesian inference. We demonstrate how to use our method to tackle the four aforementioned challenges step by step through numerical examples: (1) predator-prey model with noise, (2) shallow water equations with outliers, (3) heat diffusion with random initial and boundary conditions, and (4) fish-harvesting problem with bifurcations. Numerical results show that the robustness and accuracy of our new method is significantly better than the other model-discovering methods and traditional regression methods.

研究の動機と目的

• 実験データに高いノイズが含まれる状況における、既存のモデル発見手法の限界を解消すること。
• 外れ値がデータからの物理法則発見の精度に与える悪影響を克服すること。
• 異なる条件を有する複数の異種実験から得られたデータを効果的に統合できること。
• 利用可能なトレーニングデータの範囲を超えて外挿可能なモデル発見能力を拡張すること。
• ベイジアン推論を用いて、限られた観測値でも高い精度を維持するデータ効率の良い手法を開発すること。

提案手法

• 部分サンプリングを用いてベイジアン学習の精度を向上させ、部分サンプリングを単なる高速化手法ではなく、ロバストな推論の根幹的要素と位置づける。
• スパースベイジアン推論を用いて、支配的微分方程式における最も関連性の高い項を同定し、解釈可能性を高めるとともに過学習を低減する。
• 統計的信頼性と計算効率の両立を図るため、部分サンプリングサイズをやや小さいが過度に小さくはならない範囲に最適化する。
• 限られたデータでも学習性能を向上させるために、ベイジアン事前知識を活用し、データが乏しい状況でも信頼性の高い推論を可能にする。
• ノイズや不完全な観測値から係数と構造を推定することで、繰り返し適用して支配的方程式を発見する手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 観測データに大きなノイズが含まれる状況において、モデル発見手法をどのようにしてロバストにすればよいか。
• RQ2 トレーニングデータに外れ値が含まれる場合、どの程度の精度を維持できるか。
• RQ3 初期条件および境界条件が異なる複数の実験からのデータを統合する統一フレームワークは可能か。
• RQ4 発見されたモデルは、観測データ範囲外の領域へどの程度外挿できるか。
• RQ5 部分サンプリングは、ベイジアンモデル発見のロバスト性と精度を向上させるために、どのように最適に機能するか。

主な発見

• 提案手法は、4つの挑戦すべてにおいて、従来の回帰手法や既存のモデル発見手法を著しく上回る精度とロバスティックさを示した。
• 中程度のサイズでの部分サンプリングがベイジアン学習の精度を向上させることを示し、部分サンプリングが単なる計算テクニックではなく、ロバストな推論を可能にする重要な要因であることを裏付けた。
• 高ノイズレベル下でも、捕食者-被食者モデルにおいて正しく支配的方程式を発見できた。
• 浅水流方程式の例では、外れ値を含む汚染されたデータに対しても、本手法は高い精度を維持した。
• ランダムな初期条件および境界条件を有する熱拡散問題において、本手法は異なる実験設定間で良好な一般化性能を示した。
• 分岐を示すフィッシュハーベスティング問題においても、訓練データの範囲を超えて強く外挿可能な能力を示し、正確にモデル化された。