[논문 리뷰] PDE-Net: Learning PDEs from Data

Zichao Long, Yiping Lu외 2명|arXiv (Cornell University)|2017. 10. 26.

Model Reduction and Neural Networks참고 문헌 5인용 수 219

한 줄 요약

PDE-Net은 제약된 학습 가능 필터와 신경망을 통해 미분 연산자를 학습하고 동역학을 예측하며 데이터로부터 근본적인 PDE 모델을 밝혀낸다.

ABSTRACT

In this paper, we present an initial attempt to learn evolution PDEs from data. Inspired by the latest development of neural network designs in deep learning, we propose a new feed-forward deep network, called PDE-Net, to fulfill two objectives at the same time: to accurately predict dynamics of complex systems and to uncover the underlying hidden PDE models. The basic idea of the proposed PDE-Net is to learn differential operators by learning convolution kernels (filters), and apply neural networks or other machine learning methods to approximate the unknown nonlinear responses. Comparing with existing approaches, which either assume the form of the nonlinear response is known or fix certain finite difference approximations of differential operators, our approach has the most flexibility by learning both differential operators and the nonlinear responses. A special feature of the proposed PDE-Net is that all filters are properly constrained, which enables us to easily identify the governing PDE models while still maintaining the expressive and predictive power of the network. These constrains are carefully designed by fully exploiting the relation between the orders of differential operators and the orders of sum rules of filters (an important concept originated from wavelet theory). We also discuss relations of the PDE-Net with some existing networks in computer vision such as Network-In-Network (NIN) and Residual Neural Network (ResNet). Numerical experiments show that the PDE-Net has the potential to uncover the hidden PDE of the observed dynamics, and predict the dynamical behavior for a relatively long time, even in a noisy environment.

연구 동기 및 목표

• 복잡한 시스템에 대한 지배 PDE의 데이터 기반 발견을 제한된 사전 지식과 함께 동기를 부여한다.
• 동역학을 예측하고 숨겨진 PDE 형태를 드러낼 수 있는 딥 피드포워드 네트워크를 개발한다.
• 학습 가능한 제약 컨볼루션 커널과 비선형 응답 함수 F와 함께 미분 연산자를 학습한다.

제안 방법

• u_t = F(x,y,u, u_x, u_y, u_xx, u_xy, u_yy, ...)를 만족하는 이산적이고 학습 가능한 형태로 PDE를 표현한다.
• 컨볼루션 커널을 사용해 미분 연산자의 이산화를 학습하고, 포인트 단위 신경망으로 F를 학습한다.
• 합 규칙에 연계된 모멘트 행렬을 통해 필터를 제약하여 학습된 연산자를 미분 연산자와 연결한다.
• 더 긴 시간 안정성을 강제하고 장기간 예측을 가능하게 하기 위해 여러 delta-t 블록을 쌓는다.
• 메모리 절약과 일관성 강화를 위해 각 층에서 매개변수를 공유한다.
• 필터가 알려진 미분 연산자에 대응하도록 초기화하고 학습 중에 제약을 점진적으로 해제한다.

실험 결과

연구 질문

• RQ1 PDE-Net이 노이즈가 있는 데이터로부터 장기간에 걸친 복잡한 동역학을 정확히 예측할 수 있는가?
• RQ2 PDE-Net이 관측된 동역학으로부터 기저 PDE 구조(계수 및 연산자)를 밝혀낼 수 있는가?
• RQ3 필터 크기와 네트워크 깊이가 예측 안정성과 PDE 식별에 어떤 영향을 미치는가?
• RQ4 모멘트 행렬에 의한 필터 제약이 지배 PDE의 식별 가능성에 도움이 되는가?

주요 결과

• PDE-Net은 Frozen-PDE-Net보다 장기 예측에서 우수하며 특히 더 큰 7x7 필터에서 두드러진다.
• delta-t 블록의 수를 늘리면 장기 예측의 안정성과 정확도가 향상된다.
• 선형 문제에 대해 학습된 계수는 실제 PDE 계수와 대략 일치하는 경향이 있으며 노이즈로 인한 약간의 진동이 발생한다.
• 더 큰 필터(7x7)가 더 작은 필터(5x5)에 비해 신뢰 가능한 예측 가능 구간을 확장한다.
• PDE-Net은 선형 테스트에서 거의 0에 가까운 계수를 찾아 숨겨진 PDE를 발견할 수 있다.
• 레이어별 학습에서 매개변수 공유 및 필터 제약이 학습 효율성과 식별 가능성을 향상시킨다.