[논문 리뷰] Robust subsampling-based sparse Bayesian inference to tackle four challenges (large noise, outliers, data integration, and extrapolation) in the discovery of physical laws from data

Sheng Zhang, Guang Lin|arXiv (Cornell University)|2019. 07. 17.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 높은 노이즈, 이상치, 실험 간 데이터 통합, 외삽 등 네 가지 과제에 대비해 데이터에서 물리 법칙을 발견하기 위한 강건한 서브샘플링 기반 희소 베이지안 추론 방법을 제안한다. 최적의 서브샘플링을 희소 베이지안 학습과 융합함으로써 정확도와 일반화 능력이 향상되어, 노이즈가 많고 이상치가 많으며 이질적인 데이터셋에서의 수치 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

The derivation of physical laws is a dominant topic in scientific research. We propose a new method capable of discovering the physical laws from data to tackle four challenges in the previous methods. The four challenges are: (1) large noise in the data, (2) outliers in the data, (3) integrating the data collected from different experiments, and (4) extrapolating the solutions to the areas that have no available data. To resolve these four challenges, we try to discover the governing differential equations and develop a model-discovering method based on sparse Bayesian inference and subsampling. The subsampling technique is used for improving the accuracy of the Bayesian learning algorithm here, while it is usually employed for estimating statistics or speeding up algorithms elsewhere. The optimal subsampling size is moderate, neither too small nor too big. Another merit of our method is that it can work with limited data by the virtue of Bayesian inference. We demonstrate how to use our method to tackle the four aforementioned challenges step by step through numerical examples: (1) predator-prey model with noise, (2) shallow water equations with outliers, (3) heat diffusion with random initial and boundary conditions, and (4) fish-harvesting problem with bifurcations. Numerical results show that the robustness and accuracy of our new method is significantly better than the other model-discovering methods and traditional regression methods.

연구 동기 및 목표

• 실험 데이터에서 높은 수준의 노이즈를 다루는 데에 한계가 있는 기존 모델 발견 방법의 문제점을 해결한다.
• 이상치가 학습 데이터에 존재할 경우 물리 법칙 발견의 정확도에 악영향을 미치는 것을 완화한다.
• 다양한 조건을 가진 여러 이질적인 실험에서 수집된 데이터를 효과적으로 통합할 수 있도록 한다.
• 기존 훈련 데이터 범위를 초월해 외삽할 수 있는 능력을 갖춘 모델 발견 기능을 확장한다.
• 제한된 관측치가 있는 상황에서 높은 정확도를 유지할 수 있는 데이터 효율적인 방법을 개발한다.

제안 방법

• 서브샘플링을 활용해 베이지안 학습의 정확도를 향상시키며, 서브샘플링을 단순한 속도 향상 기법이 아니라 강건한 추론을 위한 핵심 구성 요소로 간주한다.
• 희소 베이지안 추론을 사용해 미분 방정식의 가장 관련성이 높은 항을 식별함으로써 해석 가능성 향상과 과적합 감소를 도모한다.
• 통계적 신뢰성과 계산 효율성의 균형을 고려해 서브샘플링 크기를 중간 수준으로 최적화한다.
• 베이지안 사전 지식을 활용해 제한된 데이터 상황에서도 학습 성능을 향상시켜, 데이터가 부족한 영역에서도 신뢰할 수 있는 추론을 가능하게 한다.
• 노이즈가 많거나 완전하지 않은 관측치로부터 계수와 구조를 추정하는 방식으로 반복적으로 적용하여 지배 방정식을 발견한다.

실험 결과

연구 질문

• RQ1 관측 데이터에 큰 노이즈가 존재할 경우, 어떤 방식으로 모델 발견 방법을 강건하게 만들 수 있는가?
• RQ2 학습 데이터에 이상치가 존재할 경우, 어떤 정도로 방법이 정확도를 유지할 수 있는가?
• RQ3 다른 초기 조건과 경계 조건을 가진 여러 실험의 데이터를 통합할 수 있는 통합 프레임워크를 구축할 수 있는가?
• RQ4 발견된 모델이 관측된 데이터 범위를 초월해 외삽할 때 얼마나 잘 작동하는가?
• RQ5 서브샘플링이 베이지안 모델 발견의 강건성과 정확도를 향상시키는 데 있어 최적의 역할은 무엇인가?

주요 결과

• 제안된 방법은 모든 네 가지 과제에서 기존의 회귀 및 기존 모델 발견 방법보다 정확도와 강건성 측면에서 뚜렷이 뛰어나다.
• 중간 크기의 서브샘플링이 베이지안 학습 정확도를 향상시키며, 서브샘플링이 단순한 계산 기법이 아니라 강건한 추론을 가능하게 하는 핵심 요소임을 입증한다.
• 고노이즈 수준이 존재하는 포식자-피식자 모델에서 제안된 방법은 정확한 지배 방정식을 성공적으로 발견했다.
• 천연수로 방정식 예제에서는 이상치가 포함된 오염된 데이터 상황에서도 방법이 정확하게 유지되었다.
• 임의의 초기 조건과 경계 조건을 가진 열확산 문제에서는 다양한 실험 설정 간에 잘 일반화되었다.
• 분기점이 존재하는 물고기 어획 문제에서는 훈련 데이터를 초월한 강력한 외삽 능력을 보이며 정확하게 모델링되었다.