[논문 리뷰] wPINNs: Weak Physics informed neural networks for approximating entropy solutions of hyperbolic conservation laws

Tim De Ryck, Siddhartha Mishra외 1명|arXiv (Cornell University)|2022. 07. 18.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 Kruzkhov 엔트로피 조건에 기반한 min-max 최적화 문제를 해결하는 방식으로, 스칼라 초구속 보존법칙의 엔트로피 해를 근사하는 새로운 비감독 학습 프레임워크인 약한 물리 기반 신경망(wPINNs)을 제안한다. 이 방법은 엄밀한 오차 한계를 확보하고, 기존 PINNs가 실패하는 불연속성 충격 해를 정확히 포착한다.

ABSTRACT

Physics informed neural networks (PINNs) require regularity of solutions of the underlying PDE to guarantee accurate approximation. Consequently, they may fail at approximating discontinuous solutions of PDEs such as nonlinear hyperbolic equations. To ameliorate this, we propose a novel variant of PINNs, termed as weak PINNs (wPINNs) for accurate approximation of entropy solutions of scalar conservation laws. wPINNs are based on approximating the solution of a min-max optimization problem for a residual, defined in terms of Kruzkhov entropies, to determine parameters for the neural networks approximating the entropy solution as well as test functions. We prove rigorous bounds on the error incurred by wPINNs and illustrate their performance through numerical experiments to demonstrate that wPINNs can approximate entropy solutions accurately.

연구 동기 및 목표

• 해당 해의 정규성 부족으로 인해 기존 물리 기반 신경망(PINNs)이 초구속 보존법칙의 불연속 엔트로피 해를 근사하지 못하는 문제를 해결한다.
• 연속성 가정에 의존하지 않고 엔트로피 조건의 약한 형태를 활용하여, 새로운 비감독 학습 프레임워크를 개발한다.
• 훈련 오차, 네트워크 용량, 샘플링 포인트 밀도에 따라 의존하는 엄밀한 오차 한계를 증명함으로써 이론적 수렴을 보장한다.
• 수치적으로 wPINNs가 레이블이 없는 데이터로도 스칼라 보존법칙의 엔트로피 해, 예를 들어 Burgers의 방정식의 해를 정확히 근사할 수 있음을 보여준다.
• 미래 연구를 위해 프레임워크를 매개변수형 PDE와 보존법칙의 연립계로 확장하는 기반을 마련한다.

제안 방법

• Kruzkhov 엔트로피 조건의 약한 형태를 사용하여 잔차를 수식화하고, 점별 잔차 대신 적분 기반 엔트로피 부등식을 도입한다.
• 신경망이 약한 형태에서 사용하는 시험 함수와 함께 엔트로피 해를 근사하는 min-max 최적화 문제를 구성한다.
• 유한한 수의 샘플링 포인트를 사용하여 약한 잔차를 이산화함으로써 훈련 중에 확률적 최적화를 가능하게 한다.
• 해와 시험 함수 양쪽에 신경망을 앙사트 함수로 활용하여 완전한 비감독 학습을 실현한다.
• 이론적 분석에서 강건성 추정과 적분 오차 추정을 조합하여 안정성과 수렴성을 확보한다.
• 해와 시험 함수 네트워크를 번갈아 최적화함으로써 GAN 유사 구조를 모방한 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 해의 불연속성에도 불구하고, 수정된 PINN 프레임워크가 스칼라 초구속 보존법칙의 엔트로피 해를 정확히 근사할 수 있는가?
• RQ2 점별 잔차를 약한 엔트로피 잔차로 대체할 경우, 충격이 존재하는 상황에서 수렴성과 정확도가 향상되는가?
• RQ3 훈련 오차, 네트워크 크기, 샘플링 포인트 수에 따라 이러한 프레임워크에 대해 엄밀한 오차 한계를 도출할 수 있는가?
• RQ4 Burgers의 방정식와 같은 불연속 해를 근사할 때, wPINNs의 성능이 기존 PINNs보다 뛰어난가?
• RQ5 표준 PINN 최적화 대비 min-max 문제를 해결할 때의 계산 비용과 확장성의 상충 관계는 어떠한가?

주요 결과

• wPINNs는 기존 PINNs가 잔차가 유계가 아니어서 실패하는 Burgers의 방정식에서의 충격파를 포함한 스칼라 보존법칙의 엔트로피 해를 성공적으로 근사한다.
• 이론적 분석을 통해 wPINNs의 총 오차는 훈련 오차를 줄이고, 네트워크 용량을 늘리며 충분한 샘플링 포인트를 사용함으로써 임의로 작게 만들 수 있음을 입증한다.
• Kruzkhov 엔트로피 조건에 기반한 잔차를 최소화함으로써 약한 수렴성을 확보하며, 이는 물리적으로 의미 있는 해를 선택하는 데 필수적이다.
• 수치 실험을 통해 wPINNs가 레이블이 없는 데이터로도 불연속 해를 근사하는 데서 기존 PINNs보다 정확도가 뛰어나다는 것이 확인된다.
• Kruzkhov 엔트로피가 고차원에서도 잘 정의되어 있으므로, 다차원 스칼라 보존법칙으로의 확장이 가능하다.
• 매개변수형 PDE와 보존법칙의 연립계에 대한 향후 연구의 기초를 제공하지만, 여러 엔트로피 가족이 존재하지 않아 연립계로의 확장은 여전히 도전 과제이다.