[논문 리뷰] PIAT: Physics Informed Adversarial Training for Solving Partial Differential Equations

Simin Shekarpaz, Mohammad Azizmalayeri외 1명|arXiv (Cornell University)|2022. 07. 14.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 자동 미분를 통해 편미분방정식(PDE) 제약 조건과 적대적 훈련을 통합함으로써 물리학 기반 신경망(PINNs)의 성능을 향상시키는 새로운 방법인 물리학 기반 적대적 훈련(PIAT)을 제안한다. PIAT는 더 적은 샘플링 점과 반복 횟수로도 비선형 PDE, 특히 고차원의 Allen-Cahn 및 Kuramoto-Sivashinsky 방정식에서 표준 PINN, 가중치 감소, 가우시안 스무딩 기반 모델보다 유의미하게 낮은 테스트 오차와 더 나은 일반화 성능을 달성한다.

ABSTRACT

In this paper, we propose the physics informed adversarial training (PIAT) of neural networks for solving nonlinear differential equations (NDE). It is well-known that the standard training of neural networks results in non-smooth functions. Adversarial training (AT) is an established defense mechanism against adversarial attacks, which could also help in making the solution smooth. AT include augmenting the training mini-batch with a perturbation that makes the network output mismatch the desired output adversarially. Unlike formal AT, which relies only on the training data, here we encode the governing physical laws in the form of nonlinear differential equations using automatic differentiation in the adversarial network architecture. We compare PIAT with PINN to indicate the effectiveness of our method in solving NDEs for up to 10 dimensions. Moreover, we propose weight decay and Gaussian smoothing to demonstrate the PIAT advantages. The code repository is available at https://github.com/rohban-lab/PIAT.

연구 동기 및 목표

• 비선형 편미분방정식(PDE)을 풀이할 때 표준 PINN의 부드럽지 못한 성능과 낮은 일반화 능력을 해결한다.
• 적대적 훈련을 물리학 기반 학습 프레임워크에 통합하여 모델의 강건성과 해의 부드러움을 향상시킨다.
• 표준 PINN이 수렴성과 정확도에서 어려움을 겪는 고차원 및 고차수 PDE에서 PIAT의 효과성을 입증한다.
• 물리학 기반 적대적 훈련의 맥락에서 가중치 감소 및 가우시안 스무딩과 같은 정규화 기법의 영향을 조사한다.
• 단일 신경망 아키텍처를 통해 PDE, 경계 조건 및 해의 연속성을 통합적으로 강제하는 통합 프레임워크를 제공한다.

제안 방법

• 자기 미분를 활용하여 입력 데이터뿐 아니라 PDE 잔차 손실에 대해서도 적대적 페르터베이션을 생성함으로써 PINN 프레임워크에 적대적 훈련을 통합한다.
• 전 영역에서 해를 표현하기 위해 단일 완전 연결 신경망을 사용하여 해의 연속성과 그 도함수의 연속성을 보장한다.
• 손실 함수를 데이터 적합성, 경계 조건 강제, 그리고 페르터베이션된 PDE 잔차에서 유도된 적대적 손실의 조합으로 설정한다.
• 네트워크 입력과 PDE 잔차 항에 적대적 페르터베이션을 적용하여 학습된 해의 강건성과 부드러움을 향상시킨다.
• Adam 옵timizer를 사용하고, 훈련 데이터 생성에 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling, LHS)을 적용하며, 샘플링 점들에서 복합 손실 함수를 최소화한다.
• 비교를 위해 일반화 성능를 평가하기 위해 가중치 감소와 가우시안 스무딩을 아블레이션 기반 모델로 통합한다.

실험 결과

연구 질문

• RQ1 비선형 PDE를 풀이할 때 적대적 훈련이 물리학 기반 신경망의 부드러움과 일반화 능력을 향상시킬 수 있는가?
• RQ2 저차원 및 고차원 PDE에서 PIAT는 표준 PINN, 가중치 감소, 가우시안 스무딩과 비교해 테스트 오차와 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ3 적대적 훈련 과정에 PDE 제약 조건을 통합하면 더 높은 해의 정확도와 균일한 오차 분포를 달성할 수 있는가?
• RQ4 표준 PINN보다 더 적은 샘플링 점과 반복 횟수로도 PIAT는 수렴을 달성할 수 있는가?
• RQ5 d=10인 Allen-Cahn 방정식과 같은 고차원 PDE에서 PIAT의 성능은 어떠한가?

주요 결과

• Kuramoto-Sivashinsky 방정식에서 PIAT는 표준 PINN 대비 테스트 손실을 최대 50%까지 감소시켰으며, PINN의 $6.96 \times 10^{-7}$ 대비 $3.04 \times 10^{-7}$의 테스트 손실을 기록했다.
• 고차원 Allen-Cahn 방정식(d=10)에서 PIAT는 PINN의 $0.00284$ 대비 $\mathbf{0.00118}$의 테스트 손실을 기록하여 고차원에서 뛰어난 성능을 보였다.
• 그림 5에 시각화된 바와 같이, PIAT는 도메인 전역에서 균일하게 낮은 점별 절대 오차를 유지하여 일관된 일반화와 부드러운 해를 나타낸다.
• 아블레이션 연구에서 PIAT는 가중치 감소 및 가우시안 스무딩보다 우수한 성능을 보였으며, 후자의 경우 적대적 페르터베이션가 무작위 노이즈보다 일반화 향상에 더 효과적임을 보였다.
• 표준 PINN보다 더 적은 반복 횟수와 샘플링 점으로도 PIAT는 수렴을 달성했으며, 특히 예제 2에서 10,000 에포크 동안 훈련 손실이 $2.32 \times 10^{-7}$로 떨어지는 것으로 나타났다.
• Sawada–Kotera 방정식에서 PIAT는 $x$와 $t$의 모든 테스트 범위에서 PINN보다 유의미하게 낮은 오차를 기록하여 비선형성과 고차수 PDE에서의 강건성을 확인했다.