[논문 리뷰] Active Learning Based Sampling for High-Dimensional Nonlinear Partial Differential Equations

Wenhan Gao, Chunmei Wang|arXiv (Cornell University)|2021. 12. 28.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 고차원 비선형 PDE를 위한 딥러닝 기반 최소제곱 해법의 수렴 속도를 가속화하기 위해 액티브 러닝 기반의 적응형 샘플링 방법을 제안한다. 반복적으로 잔차 오차가 더 큰 훈련 포인트를 선택함으로써 인간 학습을 모방함으로써 오차를 더 효율적으로 감소시키며, 기준 방법 대비 10차원 문제에서 최대 모듈러스 오차가 최대 66% 감소하고, 20차원 문제에서 ℓ₂ 오차가 43% 감소함을 입증한다.

ABSTRACT

The deep-learning-based least squares method has shown successful results in solving high-dimensional non-linear partial differential equations (PDEs). However, this method usually converges slowly. To speed up the convergence of this approach, an active-learning-based sampling algorithm is proposed in this paper. This algorithm actively chooses the most informative training samples from a probability density function based on residual errors to facilitate error reduction. In particular, points with larger residual errors will have more chances of being selected for training. This algorithm imitates the human learning process: learners are likely to spend more time repeatedly studying mistakes than other tasks they have correctly finished. A series of numerical results are illustrated to demonstrate the effectiveness of our active-learning-based sampling in high dimensions to speed up the convergence of the deep-learning-based least squares method.

연구 동기 및 목표

• 고차원 비선형 PDE에 대한 딥러닝 기반 최소제곱 방법의 느린 수렴 문제를 해결한다.
• 고차원 함수 근사에서 균일 샘플링의 계산적 비효율성을 해결한다.
• 가장 정보가 많은 고오차 영역에 집중함으로써 해의 정확도와 수렴 속도를 향상시킨다.
• DGM, DRM, WAN과 같은 다양한 딥러닝 기반 PDE 프레임워크에서 적응형 샘플링 전략의 호환성을 입증한다.

제안 방법

• 잔차 오차가 더 큰 훈련 포인트를 우선순위로 삼는 액티브 러닝 기반 샘플링 알고리즘을 도입한다.
• 확률 밀도 함수를 사용하여 포인트를 샘플링하며, 선택 가능성은 잔차 오차의 크기 비례로 설정한다.
• 새로 선별된 고영향력 샘플을 사용해 반복적으로 신경망을 재학습함으로써 전반적 오차를 감소시킨다.
• 메쉬 생성 없이 파이토치의 자동 미분 기능을 활용하는 딥러닝 기반 최소제곱 프레임워크 내에서 이 방법을 구현한다.
• 훈련 전 처리 단계로 적응형 샘플링을 통합함으로써 DGM, DRM, WAN과 같은 기존 PDE 해법기와의 호환성을 유지한다.
• 성능 검증을 위해 고차원 HJB 방정식과 푸아송 방정식 양쪽에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 잔차 오차 기반 액티브 러닝이 고차원 문제에 대한 딥러닝 기반 PDE 해법의 수렴 속도를 향상시킬 수 있는가?
• RQ2 균일 샘플링 대비 잔차 오차 기반 적응형 샘플링은 오차 감소와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 제안된 적응형 샘플링 방법은 DGM, DRM, WAN과 같은 기존 딥러닝 기반 PDE 프레임워크와 얼마나 잘 호환되는가?
• RQ4 이 방법은 기준 방법 대비 전반적 오차뿐 아니라 국소적(최대 모듈러스) 오차도 더 효과적으로 감소시키는가?
• RQ5 문제의 차원 수가 증가함에 따라 이 적응형 샘플링의 성능은 어떻게 스케일링되는가?

주요 결과

• 10차원 HJB 문제에서 적응형 샘플링은 기준 모델 대비 최대 모듈러스 오차를 65.98% 감소시켰다.
• 20차원 문제에서는 ℓ₂ 오차가 43.48% 감소하여 고차원에서의 더 나은 수렴을 입증했다.
• 2차원 푸아송 방정식에서, 평균 ℓ₂ 오차는 기준값 0.0333에서 30회의 시험 동안 0.0280으로 감소했으며, 최고 성능 시험에서 분산도 낮았다.
• DGM, DRM, WAN 등 모든 테스트 프레임워크에서 일관된 향상이 관찰되어 광범위한 호환성과 효과성을 확인했다.
• 오차 분포의 시각화 결과, 적응형 샘플링은 도메인 전반에서 오차 분산을 감소시키며 특히 큰 국소 오차를 최소화함을 보였다.
• 절대 차이의 히트맵은 적응형 샘플링이 해의 도메인 전반에 걸쳐 더 균일하고 낮은 오차를 유도함을 확인했으며, 특히 고곡률 또는 고민감 영역에서 두드러진 효과를 보였다.