[논문 리뷰] DAS-PINNs: A deep adaptive sampling method for solving high-dimensional partial differential equations

Kejun Tang, Xiaoliang Wan외 1명|arXiv (Cornell University)|2021. 12. 28.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 고차원 PDE의 해를 개선하기 위해 잔차 오차 분포를 기반으로 복합 점을 적응적으로 샘플링하는 딥 어댑티브 샘플링 방법인 DAS-PINNs를 제안한다. 이 방법은 KRnet라는 딥 생성 모델을 사용하여 잔차 오차가 높은 영역에 집중적으로 샘플링함으로써 정확도를 크게 향상시키며, 특히 저규칙성 및 고차원 문제에서 우수한 성능을 발휘한다. 균일 샘플링 및 이전의 적응 전략보다 뛰어난 성능을 보인다.

ABSTRACT

In this work we propose a deep adaptive sampling (DAS) method for solving partial differential equations (PDEs), where deep neural networks are utilized to approximate the solutions of PDEs and deep generative models are employed to generate new collocation points that refine the training set. The overall procedure of DAS consists of two components: solving the PDEs by minimizing the residual loss on the collocation points in the training set and generating a new training set to further improve the accuracy of current approximate solution. In particular, we treat the residual as a probability density function and approximate it with a deep generative model, called KRnet. The new samples from KRnet are consistent with the distribution induced by the residual, i.e., more samples are located in the region of large residual and less samples are located in the region of small residual. Analogous to classical adaptive methods such as the adaptive finite element, KRnet acts as an error indicator that guides the refinement of the training set. Compared to the neural network approximation obtained with uniformly distributed collocation points, the developed algorithms can significantly improve the accuracy, especially for low regularity and high-dimensional problems. We demonstrate the effectiveness of the proposed DAS method with numerical experiments.

연구 동기 및 목표

• 고차원 및 저규칙성 문제에서 딥러닝 기반 PDE 해법에서 균일한 랜덤 샘플링의 비효율성을 해결한다.
• 고차원 공간에서 나쁜 샘플링 분포로 인한 몬테카를로 손실 근사의 높은 분산 문제를 해결한다.
• 잔차 오차가 높은 영역에 집중하는 반복적이고 유연한 프레임워크를 개발하여 훈련 세트를 개선한다.
• 딥 생성 모델을 PINNs와 통합하여 오차 지표에 따라 안내되는 자가 향상 샘플링 전략을 구현한다.
• 해의 구조에 대한 사전 지식이 필요 없이도 적응 샘플링 전략이 정확도 향상에 효과적임을 입증한다.

제안 방법

• 고정된 복합 점 집합에서 잔차 손실을 최소화함으로써 물리에 기반한 신경망(PINNs)을 사용해 PDE 해를 근사한다.
• PDE의 잔차를 확률 밀도 함수로 간주하여 오차 유도 분포를 정의함으로써 적응 샘플링을 수행한다.
• 균일 사전 분포(예: 표준 정규분포)에서 잔차 유도 분포로의 변환 맵을 학습하기 위해 딥 생성 모델인 KRnet를 훈련한다.
• KRnet에서 생성된 복합 점은 잔차가 높은 영역에서 더욱 농축되며, 유한요소법의 적응 메쉬 정밀화와 유사하게 작동한다.
• 이전 복합 점 집합을 KRnet에서 생성된 샘플로 교체하거나 보강함으로써 반복적으로 훈련 세트를 개선하고, 각 단계에서 해의 정확도를 향상시킨다.
• 두 가지 별도의 샘플링 전략을 사용한다: DAS-R(잔차 밀도 기반) 및 DAS-G(KRnet에서 생성된 샘플 기반)로, 모두 PINN 훈련 루프에 통합된다.

실험 결과

연구 질문

• RQ1 잔차 분포에 따라 안내되는 적응 샘플링이 균일 샘플링에 비해 고차원 PDE의 PINN 해의 정확도를 상당히 향상시킬 수 있는가?
• RQ2 잔차 유도 분포를 모델링하기 위해 딥 생성 모델(KRnet)을 사용하는 것이 히우리스틱 또는 히우리스틱 기반 샘플링 전략에 비해 어떻게 비교되는가?
• RQ3 DAS-PINN 프레임워크는 저규칙성 PDE 해의 일반화 오차를 어느 정도 줄이고 수렴성을 향상시키는가?
• RQ4 균일 샘플링에 비해 더 적은 복합 점 수로도 적응 샘플링 전략이 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 KRnet에서 생성된 샘플을 통해 훈련 세트를 반복적으로 개선할 경우, 해 오차와 잔차 분산의 변화는 어떻게 나타나는가?

주요 결과

• DAS-PINNs는 균일 샘플링 및 RAR 히우리스틱 방법에 비해 해 오차를 상당히 감소시키며, 특히 고차원 문제(예: 10차원 비선형 테스트 문제)에서 두드러진다.
• DAS-G와 DAS-R의 오차는 적응 반복 과정에서 급격히 감소하는 반면, 균일 샘플링과 RAR는 시간이 지남에 따라 오차 개선이 거의 없거나 전혀 없음을 보였다.
• 10차원 비선형 문제에서 DAS-R과 DAS-G는 모든 샘플 크기에서 균일 샘플링 및 RAR보다 낮은 오차를 기록했으며, DAS-G는 가장 일관된 개선을 보였다.
• DAS-R과 DAS-G에서 잔차의 분산은 시간이 지남에 따라 감소하여, 적응 샘플링 이후 도메인 전반에 걸쳐 오차 분포가 더 균일해짐을 나타낸다.
• 그림 15의 오른쪽 그림은 적응 단계가 0에서 1로 증가할 때 오차가 급격히 감소하는 것을 보여주며, 첫 번째 개선 사이클에서의 급격한 향상이 확인된다.
• 그림 16과 17의 시각화 결과는 DAS-R과 DAS-G가 고오차 영역(예: 경계나 불연속성 근처)에 샘플을 집중시키며 오차 프로파일을 평탄하게 만든다는 것을 확인한다.