[논문 리뷰] Sparsely constrained neural networks for model discovery of PDEs

Gert‐Jan Both, Vermarien, Gijs외 1명|arXiv (Cornell University)|2020. 11. 09.

Model Reduction and Neural Networks참고 문헌 18인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망 대체 모델과 고급 희소 회귀 기법을 조합하여 잡음이 많거나 희소한 데이터에서 기저의 편미분방정식(PDE)을 발견하는 모듈러 프레임워크를 소개한다. 신경망 학습과 희소성 추정을 분리하고, PDE-find나 Lasso와 같은 어떤 희소 회귀 알고리즘을 사용하여 다이나믹하게 마스크를 적용함으로써, 특히 고잡음 또는 복잡한 동역학 상황에서 모델 발견 정확도, 수렴 속도, 내성 확보에 기여한다.

ABSTRACT

Sparse regression on a library of candidate features has developed as the prime method to discover the partial differential equation underlying a spatio-temporal data-set. These features consist of higher order derivatives, limiting model discovery to densely sampled data-sets with low noise. Neural network-based approaches circumvent this limit by constructing a surrogate model of the data, but have to date ignored advances in sparse regression algorithms. In this paper we present a modular framework that dynamically determines the sparsity pattern of a deep-learning based surrogate using any sparse regression technique. Using our new approach, we introduce a new constraint on the neural network and show how a different network architecture and sparsity estimator improve model discovery accuracy and convergence on several benchmark examples. Our framework is available at \url{https://github.com/PhIMaL/DeePyMoD}

연구 동기 및 목표

• 기존의 고전적 희소 회귀 방법이 시간과 공간에 흩어진 데이터에서 PDE 발견에 대처하는 데에 한계를 보이는 문제를 해결한다.
• 최신의 희소 회귀 알고리즘을 통합하여 기존의 딥러닝 기반 PDE 발견 방법의 수렴 및 내성 문제를 해결한다.
• 희소성 추정 과정을 신경망 학습에서 분리하여, 탄력적이고 모듈러하며 확장 가능한 모델 발견 파이프라인을 가능하게 한다.
• PDE-find나 SR3와 같은 고급 희소성 추정기들을 딥러닝 대체 모델 프레임워크 내에서 활용할 수 있도록 하여 모델 발견 성능을 향상시킨다.
• 아키텍처 선택(예: SIREN)과 최적화 전략이 PDE 발견 정확도와 수렴 속도에 미치는 영향을 입증한다.

제안 방법

• 자기미분를 통해 도함수를 정확하게 계산할 수 있도록, 시공간 데이터 분포를 학습하는 깊이 있는 신경망을 대체 모델로 사용한다.
• 신경망의 출력을 바탕으로 자동 미분를 통해 후보 PDE 항(예: u, ux, uxx)의 라이브러리를 구성한다.
• 희소성 추정 과정을 분리하기 위해, 비미분 가능한 희소성 촉진 알고리즘(예: PDE-find, 임계값 Lasso)을 다이나믹하게 적용하여 PDE 내 활성 항을 결정한다.
• 학습 중에 활성 항으로 정의된 PDE를 만족하도록 신경망을 제약하는 조건을 도입하며, 이때는 학습된 계수 벡터 ξ를 사용한다.
• 기능 근사기(예: SIREN 대비 표준 피드포워드 신경망), 희소성 추정기(예: PDE-find 대비 Lasso), 최적화 전략(예: OLS 대비 기울기 기반)을 독립적으로 교체 가능하게 하여 모듈성을 확보한다.
• 이중 단계 학습 과정을 사용한다: 먼저 대체 네트워크를 학습하고, 그 출력을 바탕으로 희소성 패턴을 추정한 후 반복적으로 PDE 구조를 정밀화한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 대체 모델과 고급 희소 회귀 기법을 조합하면, 잡음이 많고 희소한 데이터에서 PDE 발견 정확도를 향상시킬 수 있는가?
• RQ2 신경망 학습에서 희소성 추정을 분리하면, PDE 모델 발견의 수렴 속도와 내성 확보에 기여하는가?
• RQ3 기능 근사기 선택(예: SIREN 대비 표준 피드포워드 네트워크)이 카루모-시바시크스 방정식과 같은 복잡한 PDE를 발견하는 데에 어떤 영향을 미치는가?
• RQ4 PDE-find와 같은 비미분 가능한 희소성 추정기들이 고잡음 환경에서 미분 가능한 것들(예: 임계값 Lasso)보다 성능이 뛰어나게 되는가?
• RQ5 제약 최적화에 일반 최소 제곱법(OLS)을 사용할 경우, 기울기 기반 방법 대비 수렴 속도 향상에 얼마나 기여하는가?

주요 결과

• PDE-find 희소성 추정기는 80%의 잡음까지 80% 이상의 시도에서 정확한 버거스 방정식을 발견했지만, 임계값 Lasso는 40%의 잡음에서 실패했다.
• 제약 최적화에 기울기 기반 방법 대신 일반 최소 제곱법(OLS)을 사용함으로써 수렴 속도가 크게 향상되었고, 정확도는 유지되었다.
• SIREN 기반 신경망은 5%의 잡음이 섞인 25,000개의 데이터 포인트에서 카루모-시바시크스 방정식을 성공적으로 발견했지만, 표준 탄젠트 기반 네트워크는 수렴하지 못했다.
• 모듈러 프레임워크 덕분에 SR3와 같은 고급 희소성 추정기 사용이 가능했고, RNN이나 그래프 신경망과 같은 새로운 아키텍처도 원활하게 통합할 수 있었다.
• 프레임워크는 아키텍처 선택(예: SIREN)과 최적화 전략(예: OLS)이 복잡하거나 잡음이 많은 동역학에서 성공적인 PDE 발견에 결정적인 영향을 미친다는 점을 입증했다.
• 대체 네트워크가 완벽하게 학습되지 않았더라도, 충분히 정확한 도함수 및 라이브러리 계산을 위해 기저 역학을 잘 포착하고 있다면, 이 접근법은 여전히 내성적임을 입증했다.