[논문 리뷰] Extreme Theory of Functional Connections: A Physics-Informed Neural Network Method for Solving Parametric Differential Equations

Enrico Schiassi, Carl Leake외 4명|arXiv (Cornell University)|2020. 05. 15.

Model Reduction and Neural Networks참고 문헌 35인용 수 11

한 줄 요약

이 논문은 매개변수를 가진 상미분방정식과 편미분방정식(ODE/PDE)을 해결하기 위해 단일층 극단적 학습 기계(ELM)를 사용하는 물리 기반 신경망 방법인 극단적 기능 연결 이론(X-TFC)을 소개한다. 이론적 기능 연결을 통해 분석적 제약 조건을 신경망 기반 해에 통합함으로써 X-TFC는 밀리초 내에 기계 수준의 정확도를 달성하며, 2차원 비선형 PDE의 경우 기존 최고 수준의 방법보다 정확도를 최대 11개 지수 정도 높이면서도 낮은 계산 비용을 유지한다.

ABSTRACT

In this work we present a novel, accurate, and robust physics-informed method for solving problems involving parametric differential equations (DEs) called the Extreme Theory of Functional Connections, or X-TFC. The proposed method is a synergy of two recently developed frameworks for solving problems involving parametric DEs, 1) the Theory of Functional Connections, TFC, and the Physics-Informed Neural Networks, PINN. Although this paper focuses on the solution of exact problems involving parametric DEs (i.e. problems where the modeling error is negligible) with known parameters, X-TFC can also be used for data-driven solutions and data-driven discovery of parametric DEs. In the proposed method, the latent solution of the parametric DEs is approximated by a TFC constrained expression that uses a Neural Network (NN) as the free-function. This approximate solution form always analytically satisfies the constraints of the DE, while maintaining a NN with unconstrained parameters, like the Deep-TFC method. X-TFC differs from PINN and Deep-TFC; whereas PINN and Deep-TFC use a deep-NN, X-TFC uses a single-layer NN, or more precisely, an Extreme Learning Machine, ELM. This choice is based on the properties of the ELM algorithm. In order to numerically validate the method, it was tested over a range of problems including the approximation of solutions to linear and non-linear ordinary DEs (ODEs), systems of ODEs (SODEs), and partial DEs (PDEs). Furthermore, a few of these problems are of interest in physics and engineering such as the Classic Emden-Fowler equation, the Radiative Transfer (RT) equation, and the Heat-Transfer (HT) equation. The results show that X-TFC achieves high accuracy with low computational time and thus it is comparable with the other state-of-the-art methods.

연구 동기 및 목표

• 알려진 매개변수를 가진 매개변수형 미분방정식(DE)을 빠르고 정확하며 강건하게 해결하기 위한 방법 개발.
• 이론적 기능 연결(TFC)의 제약 조건 강화 능력과 극단적 학습 기계(ELM)의 효율성을 물리 기반 프레임워크 안에서 융합.
• 선형 및 비선형 ODE, ODE 시스템, PDE를 최소한의 계산 시간으로 고정밀도로 해결할 수 있도록 보장.
• 실시간 및 고차원 문제, 특히 최적 제어 및 운반 이론에까지 물리 기반 신경망의 적용 범위를 확장.
• 결정론적 및 확률론적 데이터로부터 매개변수형 DE의 데이터 기반 발견을 위한 기초 마련.

제안 방법

• 매개변수형 DE의 잠재적 해는 경계 및 초기 조건을 분석적으로 만족하는 TFC 제약 표현을 통해 근사된다.
• TFC 표현의 자유 함수는 극단적 학습 기계(ELM) 알고리즘을 사용한 단일층 전방향 신경망(SLFN)으로 모델링된다.
• ELM은 입력 가중치와 편향을 무작위로 초기화한 후 최소 제곱법을 통해 출력 가중치를 계산함으로써 반복 학습을 제거하고 학습 시간을 극적으로 단축시킨다.
• 이 방법은 제약 조건을 네트워크 구조에 직접 통합함으로써 모든 해가 구조적으로 DE 제약 조건을 만족하도록 보장한다.
• 제약 조건가 분석적으로 만족되기 때문에 잔차의 손실 함수를 최소화할 때 펜alties 항이 필요 없으며, 이는 제약 조건의 정확한 만족을 보장한다.
• 이 프레임워크는 2차원 및 3차원 시간에 의존하는 비선형 PDE로 확장되어 고차원에서의 확장성과 강건성을 입증하였다.

실험 결과

연구 질문

• RQ1 단일층 ELM을 사용하는 물리 기반 신경망이 매개변수형 ODE 및 PDE를 해결할 때 기계 수준의 정확도를 달성할 수 있는가?
• RQ2 비선형 및 고차원 PDE의 경우 X-TFC는 정확도 및 계산 효율성 측면에서 기존 최고 수준의 방법과 어떻게 비교되는가?
• RQ3 X-TFC는 고정밀도, 저지연 시간이 요구되는 실시간 및 최적 제어 문제에 효과적으로 적용될 수 있는가?
• RQ4 X-TFC는 노이즈가 있거나 희소한 데이터로부터 매개변수형 DE의 데이터 기반 발견에 얼마나 효과적으로 확장될 수 있는가?
• RQ5 다양한 활성화 함수와 입력 가중치 분포는 복잡한 문제에서 X-TFC의 성능에 어떤 영향을 미치는가?

주요 결과

• X-TFC는 선형 및 비선형 ODE와 ODE 시스템에 대해 밀리초 내에 기계 수준의 정확도(오차가 10^-15 수준)를 달성했다.
• 2차원 비선형 PDE의 경우, X-TFC는 기존 최고 수준의 방법보다 정확도를 4에서 11개 지수 정도 높였으며, 테스트 세트 최대 오차는 2.978 × 10^-5, 평균 오차는 8.082 × 10^-7이었다.
• 3차원 시간에 의존하는 비선형 PDE에서도 X-TFC는 높은 정확도와 낮은 계산 비용을 유지하여 2차원 문제를 초월한 확장성을 입증했다.
• X-TFC는 정확도 측면에서 고전적 TFC 방법과 유사했지만, ELM의 반복 없는 학습 덕분에 훨씬 감소된 학습 시간을 기록했다.
• 실시간 응용, 예를 들어 연료 최적화 착륙 및 궤도 이송과 같은 항공우주 임무의 최적 제어에 대한 강력한 잠재력을 보였다.
• 향후 연구에서는 X-TFC를 직사각형이 아닌 영역으로 확장하고, 새로운 활성화 함수 및 입력 가중치 분포로 향상시킬 수 있다.