[논문 리뷰] DEQGAN: Learning the Loss Function for PINNs with Generative Adversarial Networks

Blake Bullwinkel, Dylan Randle외 2명|arXiv (Cornell University)|2022. 09. 15.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

DEQGAN은 물리학 기반 신경망(PINNs)의 손실 함수를 완전히 비지도 학습 방식으로 학습하는 새로운 생성 대립 신경망 프레임워크를 제안한다. 이는 L2, L1, Huber와 같은 수작업으로 지정된 손실 함수에 의존하지 않으며, 12개의 상미분방정식과 편미분방정식—버거스, 올렌-오한, 수정된 아인슈타인 중력 방정식 포함—에서 평균 제곱오차가 수개의 지수 차수만큼 낮아서 표준 PINNs보다 뛰어난 정확도와 강건성을 보이며, 전통적인 수치 해법과도 경쟁 가능한 성능을 보인다.

ABSTRACT

Solutions to differential equations are of significant scientific and engineering relevance. Physics-Informed Neural Networks (PINNs) have emerged as a promising method for solving differential equations, but they lack a theoretical justification for the use of any particular loss function. This work presents Differential Equation GAN (DEQGAN), a novel method for solving differential equations using generative adversarial networks to "learn the loss function" for optimizing the neural network. Presenting results on a suite of twelve ordinary and partial differential equations, including the nonlinear Burgers', Allen-Cahn, Hamilton, and modified Einstein's gravity equations, we show that DEQGAN can obtain multiple orders of magnitude lower mean squared errors than PINNs that use $L_2$, $L_1$, and Huber loss functions. We also show that DEQGAN achieves solution accuracies that are competitive with popular numerical methods. Finally, we present two methods to improve the robustness of DEQGAN to different hyperparameter settings.

연구 동기 및 목표

• PINNs에서 손실 함수 선택에 대한 이론적 근거가 부족한 문제를 해결하기 위해, 미분방정식을 해결하는 데 널리 사용되는 방법이다.
• 고정된 손실 함수인 L2나 Huber에 의존하지 않고, 학습 도중 최적의 손실 함수를 비지도 학습 방식으로 학습하는 완전히 비지도 방법을 개발하기 위해이다.
• 버거스 방정식 및 수정된 아인슈타인 중력 방정식과 같은 어려운 비선형 미분방정식을 해결할 때 해의 정확도와 강건성을 향상시키기 위해이다.
• GAN 기반 PINN 프레임워크에 적용 가능한 학습 안정화 기법—예를 들어 인스턴스 노이즈와 잔차 모니터링—을 도입하기 위해이다.
• GAN 기반 손실 학습이 다양한 종류의 미분방정식에서 표준 PINN 손실보다 뛰어난 성능을 보이는지 입증하기 위해이다.

제안 방법

• DEQGAN은 생성 대립 신경망을 활용하며, 생성자 네트워크가 미분방정식을 해결하고, 판별자 네트워크가 진짜 해와 예측된 해를 구별하도록 학습한다. 이 과정에서 손실 함수가 암묵적으로 학습된다.
• 판별자는 진짜 해와 예측된 해 사이의 격차를 탐지할 수 있도록 최대화되며, 이는 생성자에 대한 손실 함수의 형태를 암묵적으로 형성한다.
• 생성자는 판별자의 출력에서 유도된 적대적 손실을 최소화하도록 학습되며, 이는 사전 지정된 손실 함수 없이도 엔드 투 엔드 최적화를 가능하게 한다.
• 학습 중 인스턴스 노이즈를 도입하여 판별자의 안정성을 높이고 다양한 하이퍼파rameter 설정에서의 일반화 능력을 향상시킨다.
• 잔차 모니터링은 초기 학습 반복 동안 방정식 잔차의 L1 노름 분산을 추적하여 수렴이 잘 되지 않는 실행을 탐지하고 조기에 종료한다.
• 이 방법은 비선형성과 고차원 문제를 포함한 다양한 상미분방정식과 편미분방정식에 적용되었으며, 표준 PINN 손실 함수와 전통적인 수치 해법과의 비교를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 L2, L1, Huber와 같은 수작업으로 지정된 손실 함수보다 PINNs에 대해 더 효과적인 손실 함수를 학습할 수 있는가?
• RQ2 DEQGAN의 적대적 학습 과정은 어려운 미분방정식에서 상당히 낮은 해 오차를 유도하는가?
• RQ3 DEQGAN은 4차 룬게-쿠타 방법과 2차 유한차분 스킴과 같은 확립된 수치 해법과 경쟁하는 해의 정확도를 달성할 수 있는가?
• RQ4 인스턴스 노이즈와 잔차 모니터링은 다양한 하이퍼파rameter 설정에서 DEQGAN의 강건성 향상에 얼마나 효과적인가?
• RQ5 판별자가 학습한 손실 함수는 비선형성과 강성 시스템을 포함한 다양한 종류의 미분방정식에 일반화되는가?

주요 결과

• 수정된 아인슈타인 중력 방정식에서 DEQGAN은 L2, L1, Huber 손실을 사용한 표준 PINNs보다 평균 제곱오차가 최대 10^8배 낮게 기록했으며, 이는 기존 PINNs가 수렴하지 못한 문제였다.
• 비선형 버거스 방정식에서 DEQGAN은 평균 제곱오차 4×10^−6을 달성했으며, 최고의 PINN 기준선(1×10^−4)보다 유의미하게 낮았다.
• 해밀토니안 시스템(HAM)에서 DEQGAN은 평균 제곱오차 1×10^−10을 기록했으며, 최고의 PINN 기준선(6×10^−9)을 초월했고, 4차 룬게-쿠타 방법의 정확도와도 일치했다.
• 잔차 모니터링은 학습의 첫 25% 이내에서 평균 제곱오차 ≥10^−5인 모든 실행을 100% 성공적으로 탐지하여 조기 종료를 가능하게 하였고, 낭비된 계산을 줄였다.
• 인스턴스 노이즈를 적용한 DEQGAN에서는 최종 MSE ≤10^−8인 경우 96%의 성공률을 기록했으며, 노이즈 없이 실행한 기본 DEQGAN에 비해 고장률이 현저히 낮았다.
• 모든 12개의 테스트 방정식에서 DEQGAN은 제2차 유한차분 및 제4차 룬게-쿠타 해법을 포함한 전통적인 수치 해법과 경쟁 가능한 해의 정확도를 달성했다.