[논문 리뷰] One-Shot Transfer Learning of Physics-Informed Neural Networks

Shaan Desai, Marios Mattheakis외 3명|arXiv (Cornell University)|2021. 10. 21.

Model Reduction and Neural Networks참고 문헌 20인용 수 6

한 줄 요약

이 논문은 선형 미분방정식 시스템에 대해 일회성 전이학습 프레임워크를 제안하며, 폐쇄형으로 최적의 출력 가중치를 계산하여 선형 상미분방정식(ODE) 및 편미분방정식(PDE)에 대해 즉각적인 추론을 가능하게 한다. 사전 훈련된 은닉층을 동결하고 출력층에 대해 행렬 역행렬을 풀음으로써 재훈련 없이도 높은 정확도의 해를 달성하며, 추론 시간을 수개의 주기로 감소시킨다.

ABSTRACT

Solving differential equations efficiently and accurately sits at the heart of progress in many areas of scientific research, from classical dynamical systems to quantum mechanics. There is a surge of interest in using Physics-Informed Neural Networks (PINNs) to tackle such problems as they provide numerous benefits over traditional numerical approaches. Despite their potential benefits for solving differential equations, transfer learning has been under explored. In this study, we present a general framework for transfer learning PINNs that results in one-shot inference for linear systems of both ordinary and partial differential equations. This means that highly accurate solutions to many unknown differential equations can be obtained instantaneously without retraining an entire network. We demonstrate the efficacy of the proposed deep learning approach by solving several real-world problems, such as first- and second-order linear ordinary equations, the Poisson equation, and the time-dependent Schrodinger complex-value partial differential equation.

연구 동기 및 목표

• 각 새로운 미분방정식 인스턴스에 대해 재훈련하는 데 드는 높은 계산 비용을 해결하기 위해.
• 전이학습을 활용하여 선형 ODE 및 PDE 시스템에 대해 일회성 추론을 가능하게 하기 위해.
• 사전 훈련된 PINN의 은닉층을 새로운 방정정식에 최소한의 적응으로 재사용할 수 있는 프레임워크를 개발하기 위해.
• 새로운 방정식에 대한 최적의 출력 가중치가 행렬 역행렬을 통해 해석적으로 계산될 수 있음을 보여주기 위해.
• 시간에 의존하는 슈뢰딩거 방정식과 같은 복소수 PDE를 포함한 실수 및 복소수 값 PDE로 접근법을 확장하기 위해.

제안 방법

• 선형 미분방정식의 가족에 대해 사전 훈련된 PINN의 은닉층을 동결한다.
• 새로운 방정식의 해를 오직 출력층 가중치 최적화로 줄이며, 이를 선형 헤드로 간주한다.
• 손실 및 제약 항에서 유도된 정규방정식 시스템의 해로 최적의 출력 가중치를 수립한다.
• 행렬 역행렬을 사용하여 출력 가중치의 폐쇄형 해를 계산함으로써 일회성 추론을 가능하게 한다.
• 슈뢰딩거 방정식과 같은 복소수 PDE의 경우 파동함수를 실수부와 허수부로 분해하고, 이들을 함께 연립하여 풀이한다.
• 다양한 초기 조건과 계수 조합에서 네트워크를 훈련시켜 해의 공유된 잠재공간을 학습한다.

실험 결과

연구 질문

• RQ1 PINNs에서의 전이학습이 재훈련 없이도 새로운 선형 미분방정식에 대해 일회성 추론을 가능하게 할 수 있는가?
• RQ2 행렬 역행렬을 통해 새로운 미분방정식에 대한 최적의 출력 가중치 설정이 폐쇄형으로 계산될 수 있는가?
• RQ3 포isson 방정식 및 슈뢰딩거 방정식을 포함한 다양한 종류의 선형 ODE 및 PDE에서 이 방법의 성능은 어떠한가?
• RQ4 고주파 성분을 해결할 때 F-원칙이 전이학습 성능에 어떤 영향을 미치는가?
• RQ5 기울기 기반 미세조정을 사용하여 비선형 시스템으로 이 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 방법은 행렬 역행렬을 통한 최적의 출력 가중치 계산을 통해 재훈련 없이도 선형 ODE 및 PDE에 대해 일회성 추론을 달성한다.
• 시간에 의존하는 슈뢰딩거 방정식에 대해, 다양한 초기 조건과 파arameter에서 MSE로 측정된 오차가 매우 작으며, 정확한 해를 제공한다.
• 예측된 실수부 및 허수부는 분석해와 매우 유사하며, 테스트 설정에서 참값과의 밀접한 결합을 보인다.
• 높은 주파수 해에 대해서도 높은 정확도를 유지하지만, $p_0$ 증가에 따라 성능이 약간 저하되며, 이는 F-원칙과 일치한다.
• 프레임워크는 추론 시간을 크게 단축시킨다 — 전체 재훈련에 수분 또는 수시간이 소요되는 데 비해, 솔루션은 몇 초 내로 도출된다.
• 비선형 설정에서는 출력층에 대해 경사하강법을 사용함으로써 여전히 정확한 해를 도출할 수 있으며, 이는 선형 시스템을 초월한 강건성을 보여준다.