[논문 리뷰] PyDEns: a Python Framework for Solving Differential Equations with Neural Networks

Alexander Koryagin, Roman Khudorozhkov외 1명|arXiv (Cornell University)|2019. 09. 25.

Model Reduction and Neural Networks참고 문헌 8인용 수 30

한 줄 요약

PyDEns는 유연한 아키텍처 선택, 사용자 정의 샘플링 전략, 딥 러닝 워크플로우와의 원활한 통합을 통해 신경망을 사용하여 편미분방정식(PDE)을 해결할 수 있도록 해주는 파이썬 프레임워크이다. 이 프레임워크는 자동 미분를 통한 손실 계산을 자동화하고, PDE, 초기/경계 조건, 학습 설정을 정의하기 위한 고수준 API를 제공함으로써 딥 갈레르킨 방법을 확장하여, 물리 기반 신경망 분야에서의 실험 접근성을 크게 낮춘다.

ABSTRACT

Recently, a lot of papers proposed to use neural networks to approximately solve partial differential equations (PDEs). Yet, there has been a lack of flexible framework for convenient experimentation. In an attempt to fill the gap, we introduce a PyDEns-module open-sourced on GitHub. Coupled with capabilities of BatchFlow, open-source framework for convenient and reproducible deep learning, PyDEns-module allows to 1) solve partial differential equations from a large family, including heat equation and wave equation 2) easily search for the best neural-network architecture among the zoo, that includes ResNet and DenseNet 3) fully control the process of model-training by testing different point-sampling schemes. With that in mind, our main contribution goes as follows: implementation of a ready-to-use and open-source numerical solver of PDEs of a novel format, based on neural networks.

연구 동기 및 목표

• 신경망 기반 PDE 해법기구를 실험하기 위한 민첩하고 사용자 友好的 프레임워크의 부족을 해결하기 위해.
• 연구자들이 최소한의 코드로 시간에 따라 변화하는 고차원 방정식을 포함한 복잡한 PDE 문제를 쉽게 정의할 수 있도록 하기 위해.
• ResNet, DenseNet과 같은 사전 정의된 모델부터 사용자 정의 아키텍처에 이르기까지 신경망 아키텍처 선택에 대한 완전한 제어를 제공하기 위해.
• 학습 효율성과 정확도 향상을 위해 도메인, 경계, 초기 조건 영역에서의 사용자 정의 점 샘플링 전략을 지원하기 위해.
• BatchFlow 딥 러닝 프레임워크와의 통합을 통해 물리 기반 신경망의 재현 가능하고 확장 가능한 학습을 촉진하기 위해.

제안 방법

• 프레임워크는 PDE 해를 신경망으로 표현하고 잔차 오차, 경계 조건, 초기 조건을 포함한 손실 함수를 최소화하는 방식으로 딥 갈레르킨 방법을 구현한다.
• 고차 미분를 처리하기 위해 자동 미분를 사용하여 손실 구성 요소를 계산함으로써 기울기의 수작업 도출을 제거한다.
• 사용자가 방정식 형태, 우변, 초기/경계 조건을 지정하는 사전 정의된 사전 형식을 사용하여 PDE를 정의할 수 있는 모듈러 아키텍처를 지원한다.
• 완전 연결층, 잔차 연결, 활성화 함수를 지원하는 인간 친화적인 레이아웃 언어를 사용하여 신경망 아키텍처를 정의한다.
• 점 샘플링은 도메인, 경계, 초기 조건 영역에서 확률 분포의 혼합 및 곱셈을 허용하는 샘플러 대수를 통해 관리된다 (예: 균일, 정규, 지수 분포).
• 미니배치 기반 확률적 경사 하강법을 사용하여 샘플링된 점들의 배치를 기반으로 손실을 추정하고 진짜 적분 손실을 근사한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 샘플링 전략을 지원하는 개방형 프레임워크는 어떻게 딥 신경망을 사용한 PDE 해법 과정을 단순화할 수 있는가?
• RQ2 사용자 정의 샘플링 전략은 물리 기반 신경망의 수렴성과 정확도에 어느 정도 기여하는가?
• RQ3 자동 미분와 모듈러 아키텍처 설계를 지원하는 고수준 API는 PDE 기반 머신러닝 분야의 연구자들이 구현 장벽을 낮출 수 있는가?
• RQ4 다양한 신경망 아키텍처(예: ResNet, DenseNet)와 샘플링 전략은 2차 PDE의 해 품질에 어떤 영향을 미치는가?
• RQ5 비틀림 없는 초기 및 경계 조건을 가진 복잡한 PDE를 해결하면서도 학습 안정성과 확장성을 유지할 수 있는가?

주요 결과

• PyDEns는 고수준 사전 기반 문제 정의를 통해 열과 파동 방정식을 포함한 광범위한 PDE 클래스를 최소한의 코드로 해결할 수 있다.
• 프레임워크는 표준 아키텍처(예: ResNet, DenseNet)뿐 아니라 잔차 및 완전 연결층을 포함한 기호적 레이아웃 언어로 정의된 사용자 정의 신경망 레이아웃도 지원한다.
• 학습 성능은 배치 크기에 매우 민감하며, 작은 배치 크기는 높은 손실 진동을 유발하고, 큰 배치 크기는 영역별 샘플링 전략과 조합되지 않으면 수렴이 불량해진다.
• 특정 영역(특히 경계나 초기 조건 근처)에 특화된 샘플러를 사용하면 모델의 정확도가 향상되며, 이는 오일-가스 저류지 모델링과 같은 응용 분야에서 핵심적이다.
• 비선형 PDE에 소스 항과 비트레이서의 초기 조건을 포함하여 4층 완전 연결망에 잔차 연결을 적용한 프레임워크가 복잡한 문제에 대해 강력한 성능을 보였다.
• BatchFlow와의 통합을 통해 재현 가능하고 확장 가능한 학습이 가능하며, 다단계 샘플링 전략을 포함한 고급 학습 워크플로우도 지원한다.