[논문 리뷰] TSONN: Time-stepping-oriented neural network for solving partial differential equations

Wenbo Cao, Weiwei Zhang|arXiv (Cornell University)|2023. 10. 25.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

TSONN은 가짜 시간 간격 동안 잘 조절된 부분 문제들로 나누어 PDE 해법을 재구성하는 시간 단계 중심 신경망을 소개한다. 이는 표준 PINNs보다 훈련 안정성과 정확도를 향상시킨다. 시간 단계 기반의 딥러닝 통합으로 인해 PINNs가 실패하는 문제들에서도 안정적인 수렴을 달성하며, 손실 함수 수정만으로도 가능하다.

ABSTRACT

Deep neural networks (DNNs), especially physics-informed neural networks (PINNs), have recently become a new popular method for solving forward and inverse problems governed by partial differential equations (PDEs). However, these methods still face challenges in achieving stable training and obtaining correct results in many problems, since minimizing PDE residuals with PDE-based soft constraint make the problem ill-conditioned. Different from all existing methods that directly minimize PDE residuals, this work integrates time-stepping method with deep learning, and transforms the original ill-conditioned optimization problem into a series of well-conditioned sub-problems over given pseudo time intervals. The convergence of model training is significantly improved by following the trajectory of the pseudo time-stepping process, yielding a robust optimization-based PDE solver. Our results show that the proposed method achieves stable training and correct results in many problems that standard PINNs fail to solve, requiring only a simple modification on the loss function. In addition, we demonstrate several novel properties and advantages of time-stepping methods within the framework of neural network-based optimization approach, in comparison to traditional grid-based numerical method. Specifically, explicit scheme allows significantly larger time step, while implicit scheme can be implemented as straightforwardly as explicit scheme.

연구 동기 및 목표

• PDE 잔차 최소화에 의한 악조건화된 최적화로 인해 물리학 기반 신경망(PINNs)의 불안정성과 열악한 수렴 성능을 해결하기 위해.
• 전방 및 역방향 PDE 문제에 대한 훈련의 강건성과 해의 정확도를 향상시키기 위해.
• 시간 단계 기반 방법을 딥러닝 프레임워크에 통합하여 악조건화된 문제를 잘 조절된 부분 문제들로 전환하기 위해.
• 시간 단계 기반 최적화가 기존 격자 기반 수치 방법보다 우수한 이점을 제공하는지, 특히 명시적 방법에서 더 큰 시간 단계를 허용하고 암시적 방법의 구현이 간단한지 입증하기 위해.

제안 방법

• PDE 해법 과제를 시간 단계 기반의 최적화 부분 문제들로 재구성하여 시간 적분을 모방한다.
• 시간 단계 프레임워크를 활용해 원래의 악조건화된 PDE 잔차 최소화 문제를 잘 조절된 부분 문제들의 시리즈로 분해한다.
• 손실 함수를 수정하여 각 가짜 시간 단계에서 PDE 잔차를 강제로 만족시키며, 시간 단계 경로를 따라 안정적인 기울기 흐름을 가능하게 한다.
• 명시적 시간 단계 기반 방법은 안정성 문제 없이 더 큰 시간 단계를 허용할 수 있고, 암시적 방법은 최소한의 복잡성으로 구현된다.
• 표준 신경망의 구조를 유지하면서도 훈련 동역학을 가짜 시간 진화 경로를 따르도록 재구성한다.
• 이 방법은 전방 및 역방향 PDE 문제 모두와 호환되며, 손실 함수 적응을 초과한 아키텍처 변경이 필요하지 않다.

실험 결과

연구 질문

• RQ1 딥러닝을 통한 PDE 해법에 시간 단계 기반 기법을 효과적으로 통합할 수 있는가?
• RQ2 가짜 시간 간격을 따라 PDE 잔차 최소화를 부분 문제의 시리즈로 전환하면 직접 잔차 최소화보다 더 나은 수렴 성능을 얻을 수 있는가?
• RQ3 신경망 훈련에서 명시적 시간 단계 기반 방법이 고전적 방법과 마찬가지로 안정성 문제 없이 더 큰 시간 단계를 허용할 수 있는가?
• RQ4 암시적 시간 단계 기반 방법이 명시적 방법과 마찬가지로 신경망 프레임워크 내에서 간단하게 구현될 수 있는가?
• RQ5 전통적인 격자 기반 수치 방법과 비교했을 때, 제안된 시간 단계 중심 신경망의 정확도와 효율성은 어떠한가?

주요 결과

• TSONN은 표준 PINNs가 수렴하지 못하거나 정확한 결과를 도출하지 못하는 PDE 문제에서도 안정적인 훈련과 정확한 해를 달성한다.
• 이 방법은 악조건화된 최적화 문제를 가짜 시간 간격을 따라 잘 조절된 부분 문제들의 시리즈로 전환함으로써 수렴 성능을 크게 향상시킨다.
• TSONN의 명시적 시간 단계 기반 방법은 안정성에 영향을 주지 않으면서도 더 큰 시간 단계를 허용하며, 고전적 수치 방법의 장점을 그대로 반영한다.
• 암시적 시간 단계 기반 방법은 신경망 프레임워크 내에서 명시적 방법과 비슷한 간편함으로 구현된다.
• 이 방법은 손실 함수 수정만으로도 간단히 적용 가능하여 기존 PINN 구현에 쉽게 통합될 수 있다.
• TSONN은 특히 조건 수가 높은 경우에 어려운 문제들에서 전방 및 역방향 PDE 문제를 해결하는 데 있어 뛰어난 강건성을 보여준다.