[論文レビュー] Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery

Liyao Gao, Urban Fasel+2 more|arXiv (Cornell University)|Jan 30, 2023

Fault Detection and Control Systems被引用数 6

ひとこと要約

本稿は、ブートストラップに基づく逐次しきい値付き最小二乗法（STLS）を用いたアンサンブルスパースモデル同定について理論的保証を確立し、誤検出確率および真陽性検出確率において指数的収束を証明している。この手法は、計算的に効率的で、高価なベイズMCMC手法と同等の精度の不確実性評価を提供し、ノイズやハイパーパrameterの変化に対してもロバストであることが示された。

ABSTRACT

Sparse model identification enables nonlinear dynamical system discovery from data. However, the control of false discoveries for sparse model identification is challenging, especially in the low-data and high-noise limit. In this paper, we perform a theoretical study on ensemble sparse model discovery, which shows empirical success in terms of accuracy and robustness to noise. In particular, we analyse the bootstrapping-based sequential thresholding least-squares estimator. We show that this bootstrapping-based ensembling technique can perform a provably correct variable selection procedure with an exponential convergence rate of the error rate. In addition, we show that the ensemble sparse model discovery method can perform computationally efficient uncertainty estimation, compared to expensive Bayesian uncertainty quantification methods via MCMC. We demonstrate the convergence properties and connection to uncertainty quantification in various numerical studies on synthetic sparse linear regression and sparse model discovery. The experiments on sparse linear regression support that the bootstrapping-based sequential thresholding least-squares method has better performance for sparse variable selection compared to LASSO, thresholding least-squares, and bootstrapping-based LASSO. In the sparse model discovery experiment, we show that the bootstrapping-based sequential thresholding least-squares method can provide valid uncertainty quantification, converging to a delta measure centered around the true value with increased sample sizes. Finally, we highlight the improved robustness to hyperparameter selection under shifting noise and sparsity levels of the bootstrapping-based sequential thresholding least-squares method compared to other sparse regression methods.

研究の動機と目的

• ブートストラップに基づくSTLSを用いたアンサンブルスパースモデル同定の理論的基盤を確立すること。
• この手法が誤検出率および真陽性検出率において指数的収束を達成することを証明すること。
• アンサンブルSTLSが、ベイズMCMC手法と同等の計算効率の良い不確実性評価を可能にすることを示すこと。
• ノイズレベルやスパarsity条件の変化に対して、この手法のロバスト性を分析すること。
• 漸近的同等性を用いて、ブートストラップに基づくSTLSをベイズスパース推論に結びつけること。

提案手法

• 袋だたみ包含確率に基づくSTLSを用い、ブートストラップリサンプリングにより変数選択の安定性を推定する。
• 各ブートストラップ標本に対して逐次しきい値付き最小二乗法を適用し、関連する特徴量を同定する。
• 最終的なモデルは、ブートストラップ再試行における各候補項の包含頻度に基づいて選択される。
• 理論的分析は、二項分布試行における集中不等式と和集合不等式を用いて誤差率を導出する。
• 分散推定は、ブートストラップ再試行の経験的分布を用いて近似される。
• 後部確率分布と包含確率分布の理論的比較を通じて、ベイズスパイクアンドスラブ事前分布との漸近的同等性が確立される。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップに基づくSTLSは、誤検出確率および真陽性検出確率において指数的収束を達成するか？
• RQ2 アンサンブルSTLSは、標本サイズの増加に伴い、真のパrameter分布に収束する不確実性推定を提供できるか？
• RQ3 変数選択の精度とロバスト性において、LASSOおよびしきい値付き最小二乗法と比較してどのように異なるか？
• RQ4 アンサンブル手法は、スパイクアンドスラブ事前分布を用いたベイズスパース推論と漸近的に同等か？
• RQ5 ノイズレベルやスパarsity条件の変化に対して、この手法はどのように性能を示すか？

主な発見

• ブートストラップに基づくSTLS推定量は、従来の手法よりも緩い正則性条件のもとで、誤検出確率および真陽性検出確率の両方において指数的収束を達成する。
• 合成線形回帰実験において、LASSO、しきい値付き最小二乗法、およびブートストラップに基づくLASSOと比較して、スパース変数選択において優れた性能を示す。
• アンサンブル手法からの不確実性推定は、標本サイズの増加に伴い真のモデルパrameterを中心とするデルタ測度に収束し、一貫性のある推定であることが示された。
• E-SINDyとベイズSINDy推定値間のWasserstein-2距離は、すべてのアクティブなインデックスで急速にゼロに収束し、分布同等性を確認した。
• 他のスパース回帰手法と比較して、ノイズの変動やスパarsityレベルの変化に対しても、ハイパーパrameter選択のロバスト性が向上している。
• 理論的分析により、ブートストラップ再試行を用いた分散推定が有効であることが確認され、信頼性の高い不確実性評価が可能であることが裏付けられた。