[논문 리뷰] Stability selection enables robust learning of partial differential equations from limited noisy data

Suryanarayana Maddu, Bevan L. Cheeseman외 2명|arXiv (Cornell University)|2019. 07. 17.

Probabilistic and Robust Engineering Design참고 문헌 66인용 수 15

한 줄 요약

이 논문은 한정된 노이즈가 있는 시공간 데이터로부터 부분미분방정식(PDE)을 안정적이고 파rameter-free로 식별할 수 있도록 하는 안정성 선택 기반 프레임워크인 PDE-STRIDE를 소개한다. 안정성 선택과 반복적 하드-스리핑을 조합함으로써, 시뮬레이션된 데이터와 생물학적 실측 데이터(예: C. elegans 배아의 반응-확산 역학)에서 높은 정확도와 노이즈에 대한 내성을 확보한다.

ABSTRACT

We present a statistical learning framework for robust identification of partial differential equations from noisy spatiotemporal data. Extending previous sparse regression approaches for inferring PDE models from simulated data, we address key issues that have thus far limited the application of these methods to noisy experimental data, namely their robustness against noise and the need for manual parameter tuning. We address both points by proposing a stability-based model selection scheme to determine the level of regularization required for reproducible recovery of the underlying PDE. This avoids manual parameter tuning and provides a principled way to improve the method's robustness against noise in the data. Our stability selection approach, termed PDE-STRIDE, can be combined with any sparsity-promoting penalized regression model and provides an interpretable criterion for model component importance. We show that in particular the combination of stability selection with the iterative hard-thresholding algorithm from compressed sensing provides a fast, parameter-free, and robust computational framework for PDE inference that outperforms previous algorithmic approaches with respect to recovery accuracy, amount of data required, and robustness to noise. We illustrate the performance of our approach on a wide range of noise-corrupted simulated benchmark problems, including 1D Burgers, 2D vorticity-transport, and 3D reaction-diffusion problems. We demonstrate the practical applicability of our method on real-world data by considering a purely data-driven re-evaluation of the advective triggering hypothesis for an embryonic polarization system in C.~elegans. Using fluorescence microscopy images of C.~elegans zygotes as input data, our framework is able to recover the PDE model for the regulatory reaction-diffusion-flow network of the associated proteins.

연구 동기 및 목표

• 노이즈가 있는 실험 데이터에 적용될 때 기존 희소 회귀 방법이 PDE 식별에 대해 부족한 안정성을 보이는 문제를 해결하기 위해.
• PDE 학습 프레임워크에서 정규화 파라미터의 수동 튜닝이 필요 없도록 하기 위해.
• 신뢰성 있고 해석 가능한 추론된 PDE의 정확도를 향상시키기 위한 체계적이고 재현 가능한 모델 선택 전략을 개발하기 위해.
• 합성 벤치마크 문제와 실제 생물학적 데이터(예: C. elegans 배아의 극성) 모두에서 방법의 효과성을 입증하기 위해.
• 모델 구성 요소에 대해 해석 가능한 중요도 점수를 제공하여 직관적인 모델 구축과 검증을 가능하게 하기 위해.

제안 방법

• 반복적인 부분표본 추출과 구성 요소 빈도 추적을 통해 정규화 수준을 선택하는 안정성 선택 프레임워크—PDE-STRIDE를 제안한다.
• 압축 측정 기반의 반복적 하드-스리핑(IHT) 알고리즘과 안정성 선택을 통합하여 빠르고 파arameter-free PDE 학습을 가능하게 한다.
• 공간 및 시간 도함수와 비선형성을 포함한 후보 PDE 항의 사전을 구성하며, 이를 직접 노이즈가 있는 데이터에서 계산한다.
• 데이터의 부분표본을 생성하여 다수의 학습 세트를 만들고, 이러한 세트들 간의 모델 구성 요소 빈도를 계산하여 안정성 점수가 높은 구성 요소를 선택한다.
• 항이 선택된 부분표본의 비율에 기반한 임계값 규칙을 사용하여 재현 가능성을 확보하고 가짜 양성 결과를 줄인다.
• 각 후보 PDE 항에 대해 확률적 중요도 측정치를 제공함으로써 해석 가능한 모델 발견을 가능하게 한다.

실험 결과

연구 질문

• RQ1 안정성 선택은 수동 정규화 튜닝 없이 제한된 노이즈가 있는 데이터로부터 PDE 식별의 안정성을 향상시킬 수 있는가?
• RQ2 PDE-STRIDE 프레임워크는 노이즈 수준이 증가함에 따라 알려진 PDE(예: 버거스, 비오르티시티-트랜스포트, 그레이-스카트)를 얼마나 잘 복원하는가?
• RQ3 PDE-STRIDE는 C. elegans 배아의 실존하는 형광 현미경 데이터에서 생물학적으로 관련성이 있는 PDE 모델을 어느 정도 복원할 수 있는가?
• RQ4 다양한 데이터 및 노이즈 조건에서 정확한 PDE 복원을 위해 필요한 표본 복잡도를 신뢰성 있게 추정할 수 있는가?
• RQ5 안정성 경로와 구성 요소 중요도 점수는 복잡한 생물학적 시스템에서 반자동적이고 해석 가능한 모델 발견을 어떻게 지원하는가?

주요 결과

• PDE-STRIDE는 최대 6%의 가우시안 노이즈가 있는 데이터로부터 1D 버거스 방정식, 2D 비오르티시티-트랜스포트 방정식, 3D 그레이-스카트 반응-확산 방정식을 완전히 복원한다.
• 표본 크기가 증가함에 따라 일관된 복원 확률을 보이며, 통계적 일관성과 노이즈에 대한 내성의 증거를 제공한다.
• 프레임워크는 기존 물리 법칙에 대한 사전 지식 없이도 형광 현미경 영상에서 직접 C. elegans 배아의 PAR 극성 네트워크에 대한 데이터 기반 PDE 모델을 성공적으로 추론하였다.
• 복원된 PDE 모델은 실험에서 관찰된 초기 공간 영역에서부터 완전히 극성화된 패턴에 이르기까지 시공간 역학을 정확하게 예측하였다.
• 이전에 광범위한 생화학적 연구를 통해 밝혀진 핵심 조절 단백질 간 상호 억제 상호작용이 데이터로부터 자동으로 복원되었다.
• 안정성 경로와 구성 요소 중요도 점수는 모델 구조에 대한 해석 가능한 확률적 통찰을 제공하여 직관적인 모델 검증 및 개선을 가능하게 하였다.