[論文レビュー] SubTSBR to tackle high noise and outliers for data-driven discovery of differential equations

Sheng Zhang, Guang Lin|arXiv (Cornell University)|Jul 17, 2019

Advanced Statistical Methods and Models参考文献 52被引用数 9

ひとこと要約

本稿では、微分方程式のデータ駆動型同定において高ノイズおよび外れ値に対して高いロバスト性を示す、サブサンプリングに基づくスパースベイジアン回帰手法SubTSBRを提案する。繰り返しデータのサブセットをサンプリングし、スパースベイジアン推論を適用することで、特にノイズの高い条件下でもTSBRを上回る高い精度を達成し、確率的初期・境界条件や分岐を伴うモデルの同定を可能にする。

ABSTRACT

Data-driven discovery of differential equations has been an emerging research topic. We propose a novel algorithm subsampling-based threshold sparse Bayesian regression (SubTSBR) to tackle high noise and outliers. The subsampling technique is used for improving the accuracy of the Bayesian learning algorithm. It has two parameters: subsampling size and the number of subsamples. When the subsampling size increases with fixed total sample size, the accuracy of our algorithm goes up and then down. When the number of subsamples increases, the accuracy of our algorithm keeps going up. We demonstrate how to use our algorithm step by step and compare our algorithm with threshold sparse Bayesian regression (TSBR) for the discovery of differential equations. We show that our algorithm produces better results. We also discuss the merits of discovering differential equations from data and demonstrate how to discover models with random initial and boundary condition as well as models with bifurcations. The numerical examples are: (1) predator-prey model with noise, (2) shallow water equations with outliers, (3) heat diffusion with random initial and boundary condition, and (4) fish-harvesting problem with bifurcations.

研究の動機と目的

• ノイズが多く外れ値を含むデータから、正確に支配的微分方程式を同定する課題に対処すること。
• 従来の手法が失敗する高ノイズ領域において、スパースベイジアン回帰のロバスト性を向上させること。
• 確率的初期条件および境界条件、あるいは分岐的ダイナミクスが存在する場合でも有効な微分方程式を同定できるようにすること。
• 精度と外れ値耐性を最大化するように、サブサンプリングのパラメータ（サイズとサブセット数）を最適化すること。
• 実世界の物理的モデルにおいてノイズと外れ値が存在する状況下で、SubTSBRがthreshold sparse Bayesian regression (TSBR) を上回ることを実証すること。

提案手法

• 全データセットからノイズの影響を軽減するため、複数の小さな代表的データサブセットをサブサンプリングによって作成する。
• 各サブセットに対してスパースベイジアン回帰を適用し、微分方程式の線形モデルにおける基底関数の重みベクトルを推定する。
• 複数のサブセットからの結果をモデル選択基準を用いて統合することで、推定の安定性と精度を向上させる。
• バイアスとバリアンスのバランスを最適化するため、調整されたモデル選択基準を用いてサブサンプリングサイズとサブセット数を最適化する。
• 重みベクトルのスパarsityを強制するためにしきい値処理を組み込み、微分方程式に必要な基底関数のみを選択する。
• 時間および状態変数の多項式を指定された次数まで含む基底関数ライブラリを用いて、常微分方程式/偏微分方程式の候補項を表現する。

実験結果

リサーチクエスチョン

• RQ1 サブサンプリングは、高ノイズおよび外れ値の存在下でスパースベイジアン回帰の精度とロバスト性をどのように向上させるか？
• RQ2 発見精度を最大化するための、サブサンプリングサイズとサブセット数の最適なトレードオフは何か？
• RQ3 初期条件および境界条件が確率的にサンプリングされる場合、あるいは分岐が存在する場合でも、SubTSBRは微分方程式を信頼性高く同定できるか？
• RQ4 ノイズのあるデータ下で、SubTSBRは定量的にTSBRと比較して精度と安定性に優れているか？
• RQ5 所定の信頼水準で外れ値を信頼性高く除外するために必要な最小サブセット数は何か？

主な発見

• 2%のガウスノイズを含む捕食者・被捕食者モデルにおいて、SubTSBRはTSBRを上回る性能を示し、高ノイズ下での微分方程式同定に優れていることが実証された。
• SubTSBRの精度はサブサンプリングサイズの増加に伴い一時的に上昇し、その後減少する傾向を示しており、バイアスとバリアンスのバランスを最適化するサイズが存在することを示している。
• サブセット数の増加は一貫して精度を向上させ、アンサンブル平均化がロバスト性を高めることを示唆している。
• 所定の信頼水準で外れ値を除外するために必要な最小サブセット数は、解析的に導出可能であり、実用的にも利用可能である。
• SubTSBRは、初期条件が確率的であるノイズの高いデータから、正しい魚の捕獲OED（dN/dt = -2.818 + 3.837N - 0.965N²）の形式を正確に同定した。
• SubTSBRが同定したモデルは、学習範囲外の初期条件に対してもシステムの挙動を正確に予測できたが、最小二乗回帰は一般化に失敗した。