[논문 리뷰] Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery

Liyao Gao, Urban Fasel외 2명|arXiv (Cornell University)|2023. 01. 30.

Fault Detection and Control Systems인용 수 6

한 줄 요약

이 논문은 부트스트래핑 기반 순차 임계값 최소제곱(이하 STLS)을 사용한 앙상블 희소 모델 발견에 대해 이론적 보장을 수립하며, 잘못된 발견 확률과 진짜 발견 확률에서 지수 수렴을 증명한다. 이 방법이 비용이 많이 드는 베이지안 MCMC 방법과 동등한 계산 효율성과 정확도를 갖춘 불확실성 정량화를 제공함과 동시에 노이즈 및 하이퍼파rameter 변화에 대해 강건함을 보여준다.

ABSTRACT

Sparse model identification enables nonlinear dynamical system discovery from data. However, the control of false discoveries for sparse model identification is challenging, especially in the low-data and high-noise limit. In this paper, we perform a theoretical study on ensemble sparse model discovery, which shows empirical success in terms of accuracy and robustness to noise. In particular, we analyse the bootstrapping-based sequential thresholding least-squares estimator. We show that this bootstrapping-based ensembling technique can perform a provably correct variable selection procedure with an exponential convergence rate of the error rate. In addition, we show that the ensemble sparse model discovery method can perform computationally efficient uncertainty estimation, compared to expensive Bayesian uncertainty quantification methods via MCMC. We demonstrate the convergence properties and connection to uncertainty quantification in various numerical studies on synthetic sparse linear regression and sparse model discovery. The experiments on sparse linear regression support that the bootstrapping-based sequential thresholding least-squares method has better performance for sparse variable selection compared to LASSO, thresholding least-squares, and bootstrapping-based LASSO. In the sparse model discovery experiment, we show that the bootstrapping-based sequential thresholding least-squares method can provide valid uncertainty quantification, converging to a delta measure centered around the true value with increased sample sizes. Finally, we highlight the improved robustness to hyperparameter selection under shifting noise and sparsity levels of the bootstrapping-based sequential thresholding least-squares method compared to other sparse regression methods.

연구 동기 및 목표

• 부트스트래핑 기반 STLS를 사용한 앙상블 희소 모델 발견에 대한 이론적 기초를 확립하는 것.
• 이 방법이 잘못된 발견률과 진짜 발견률에서 지수 수렴을 달성함으로써 올바른 변수 선택을 할 수 있음을 증명하는 것.
• 앙상블 STLS가 베이지안 MCMC 방법과 비교해도 뛰어난 계산 효율성과 정확도를 갖춘 불확실성 정량화를 가능하게 함을 보여주는 것.
• 노이즈 수준과 희소성 조건이 변화할 경우에도 방법의 강건성을 분석하는 것.
• 부트스트래핑 기반 STLS가 점점 커지는 표본 크기에서 베이지안 희소 추론과 점차적으로 동일한 결과를 낳는다는 점을 연결하는 것.

제안 방법

• 백킹 포함 확률 기반 STLS를 사용하며, 부트스트래핑 표본 추출을 통해 변수 선택의 안정성을 추정한다.
• 각 부트스트래핑 표본에 대해 순차 임계값 최소제곱을 적용하여 관련 특징을 식별한다.
• 최종 모델은 부트스트래핑 반복에서 각 후보 항목의 포함 빈도를 기반으로 선택된다.
• 이론적 분석은 이항 시행에 대한 농도 경계와 유니온 경계를 활용하여 오차율을 유도한다.
• 분산 추정은 부트스트래핑 반복의 경험적 분포를 사용해 근사한다.
• 후행 확률 분포와 포함 확률 분포를 이론적으로 비교함으로써 베이지안 스파이크-앤프레드 사전과의 점차적 등가성을 확립한다.

실험 결과

연구 질문

• RQ1 부트스트래핑 기반 STLS는 잘못된 발견 확률과 진짜 발견 확률에서 지수 수렴을 달성하는가?
• RQ2 앙상블 STLS는 표본 크기가 증가함에 따라 진짜 모수 분포로 수렴하는 불확실성 추정치를 제공하는가?
• RQ3 변수 선택 정확도와 강건성 측면에서 LASSO 및 임계값 최소제곱 방법과 비교해 어떻게 성능을 내는가?
• RQ4 이 방법은 베이지안 희소 추론과 스파이크-앤프레드 사전을 사용할 때 점차적으로 동일한 결과를 낳는가?
• RQ5 노이즈 수준과 희소성 조건이 변화할 경우 이 방법은 어떻게 성능을 내는가?

주요 결과

• 기존 방법보다 더 완화된 정규성 조건 하에서, 부트스트래핑 기반 STLS 추정기는 잘못된 발견 확률과 진짜 발견 확률 모두에서 지수 수렴을 달성한다.
• 합성 선형 회귀 실험에서 LASSO, 임계값 최소제곱, 부트스트래핑 기반 LASSO와 비교해 희소 변수 선택에서 뛰어난 성능을 보인다.
• 앙상블 방법에서의 불확실성 추정치는 표본 크기가 증가함에 따라 진짜 모형 파ameter 중심의 델타 측도로 수렴하며, 이는 일관된 추정을 의미한다.
• 모든 활성 인덱스에서 E-SINDy와 베이지안 SINDy 추정치 간의 워샤프스키-2 거리가 급격히 0으로 수렴함을 확인하여 분포 등가성을 확인한다.
• 기타 희소 회귀 기법에 비해 노이즈 및 희소성 수준 변화에 더 강건한 성능을 보인다.
• 이론적 분석을 통해 앙상블 방법이 부트스트래핑 반복을 통해 타당한 분산 추정을 제공함을 확인하며, 신뢰할 수 있는 불확실성 정량화를 뒷받침한다.