[논문 리뷰] Deep learning of physical laws from scarce data.

Zhao Chen, Yang Liu외 1명|arXiv (Cornell University)|2020. 05. 05.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 표현 학습을 위한 딥 뉴럴 네트워크, 도함수 계산을 위한 자동 미분, 그리고 사영 항 선택을 위한 희소 회귀를 조합함으로써 희소하고 노이즈가 많은 데이터에서 통제하는 편미분방정식(PDE)을 발견하는 물리 기반 딥 러닝 프레임워크를 제안한다. 이 방법은 데이터 부족과 노이즈 상황에서도 강건하고 정확한 PDE 발견을 달성하여 실세계 과학적 응용에 강력한 잠재력을 보여준다.

ABSTRACT

Harnessing data to discover the underlying governing laws or equations that describe the behavior of complex physical systems can significantly advance our modeling, simulation and understanding of such systems in various science and engineering disciplines. Recent advances in sparse identification show encouraging success in distilling closed-form governing equations from data for a wide range of nonlinear dynamical systems. However, the fundamental bottleneck of this approach lies in the robustness and scalability with respect to data scarcity and noise. This work introduces a novel physics-informed deep learning framework to discover governing partial differential equations (PDEs) from scarce and noisy data for nonlinear spatiotemporal systems. In particular, this approach seamlessly integrates the strengths of deep neural networks for rich representation learning, automatic differentiation and sparse regression to approximate the solution of system variables, compute essential derivatives, as well as identify the key derivative terms and parameters that form the structure and explicit expression of the PDEs. The efficacy and robustness of this method are demonstrated on discovering a variety of PDE systems with different levels of data scarcity and noise. The resulting computational framework shows the potential for closed-form model discovery in practical applications where large and accurate datasets are intractable to capture.

연구 동기 및 목표

• 복잡한 시공간 시스템에서 제한된 데이터와 노이즈가 있는 상황에서 물리 법칙을 발견하는 도전 과제를 해결한다.
• 데이터 부족과 노이즈 상황에서 기존의 희소 식별 방법의 확장성과 강건성의 한계를 극복한다.
• 딥 러닝을 통한 표현 학습, 도함수 계산, 그리고 PDE 구조 식별을 위한 희소 회귀를 통합한 통합 프레임워크를 개발한다.
• 대규모 고정밀 데이터셋을 확보하기 어려운 실용적 상황에서 해석형 모델 발견을 가능하게 한다.

제안 방법

• 희소하고 노이즈가 많은 데이터로부터 시스템 변수의 풍부한 저차원 표현을 학습하기 위해 딥 뉴럴 네트워크를 활용한다.
• 신경망 출력의 고차원 공간 및 시간 도함수를 계산하기 위해 자동 미분을 활용한다.
• 지배하는 PDE를 구성하는 가장 관련성이 높은 도함수 항과 파라미터를 식별하기 위해 희소 회귀 문제를 설정한다.
• 기존에 알려진 물리 법칙과의 일관성을 확보하기 위해 물리적 제약 조건을 학습 과정에 통합한다.
• 신경망 학습을 정규화하기 위해 물리 기반 손실 함수를 사용하여 데이터 부족 상황에서의 일반화 능력을 향상시킨다.
• 해결책을 공동으로 학습하고 기반 PDE의 구조를 발견하기 위해 전체 파ipeline을 종단 간 최적화한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 매우 희소하고 노이즈가 많은 데이터로부터 진정한 기반 PDE를 강건하게 발견할 수 있는가?
• RQ2 자동 미분과 희소 회귀의 통합은 기존 방법에 비해 PDE 발견에 어떻게 향상되는가?
• RQ3 다양한 비선형 시공간 PDE 유형에 대해 데이터 조건이 변화하는 상황에서 이 방법의 일반화 능력은 어느 정도인가?
• RQ4 실세계 과학적 응용에서 이 방법은 노이즈 수준과 데이터 희소성에 얼마나 민감한가?

주요 결과

• 프레임워크는 매우 희소하고 노이즈가 많은 데이터 조건에서도 다양한 비선형 시공간 시스템의 지배 PDE를 성공적으로 발견한다. 기존 방법에 비해 필요한 데이터의 1% 미만으로도 가능하다.
• 강한 노이즈 수준에서도 높은 정확도와 강건성을 유지하며, 데이터 부족 상황에서 표준 희소 식별 기법보다 뛰어난 성능을 보인다.
• 딥 뉴럴 네트워크와 희소 회귀의 통합은 해와 그 도함수의 정확한 근사화를 가능하게 하여 PDE 발견에 필수적인 요소이다.
• 공간과 시간에서 희소하게 샘플링된 데이터 조건에서도 정확한 PDE 구조와 파라미터를 높은 정밀도로 식별한다.
• 반응-확산 및 파동 유사 시스템을 포함한 다양한 PDE 유형에 대해 확장성과 일반화 능력을 입증한다.
• 물리 기반 정규화가 저데이터 환경에서 모델의 안정성을 크게 향상시키고 과적합을 감소시킨다.