[논문 리뷰] Accelerated replica exchange stochastic gradient Langevin diffusion enhanced Bayesian DeepONet for solving noisy parametric PDEs

Guang Lin, Christian Moya외 1명|arXiv (Cornell University)|2021. 11. 03.

Model Reduction and Neural Networks참고 문헌 29인용 수 14

한 줄 요약

이 논문은 노이즈가 있는 매개변수형 PDE를 해결할 때 학습 수렴성과 예측 정확도를 향상시키기 위해 가속화된 복제교환 스토하스틱 그래디언트 랑주르 디퓨전(reSGLD)으로 향상된 베이지안 DeepONet 프레임워크를 제안한다. 두 개의 입자—한 개는 탐색을 위해, 다른 한 개는 이용을 위해 사용됨으로써, 표준 Adam 최적화보다 더 나은 일반화와 불확실성 정량화를 달성한다. 또한 가속화된 학습 제도는 성능을 희생시키지 않고 계산 비용을 최대 25%까지 감소시킨다.

ABSTRACT

The Deep Operator Networks~(DeepONet) is a fundamentally different class of neural networks that we train to approximate nonlinear operators, including the solution operator of parametric partial differential equations (PDE). DeepONets have shown remarkable approximation and generalization capabilities even when trained with relatively small datasets. However, the performance of DeepONets deteriorates when the training data is polluted with noise, a scenario that occurs very often in practice. To enable DeepONets training with noisy data, we propose using the Bayesian framework of replica-exchange Langevin diffusion. Such a framework uses two particles, one for exploring and another for exploiting the loss function landscape of DeepONets. We show that the proposed framework's exploration and exploitation capabilities enable (1) improved training convergence for DeepONets in noisy scenarios and (2) attaching an uncertainty estimate for the predicted solutions of parametric PDEs. In addition, we show that replica-exchange Langeving Diffusion (remarkably) also improves the DeepONet's mean prediction accuracy in noisy scenarios compared with vanilla DeepONets trained with state-of-the-art gradient-based optimization algorithms (e.g. Adam). To reduce the potentially high computational cost of replica, in this work, we propose an accelerated training framework for replica-exchange Langevin diffusion that exploits the neural network architecture of DeepONets to reduce its computational cost up to 25% without compromising the proposed framework's performance. Finally, we illustrate the effectiveness of the proposed Bayesian framework using a series of experiments on four parametric PDE problems.

연구 동기 및 목표

• 매개변수형 PDE에서 유도된 노이즈가 있는 데이터로 훈련할 때 DeepONet의 낮은 일반화 성능을 해결하기 위해.
• 노이즈가 있는 환경에서 DeepONet 예측의 불확실성 정량화를 가능하게 하는 베이지안 프레임워크를 개발하기 위해.
• 표준 그래디언트 기반 최적화기(예: Adam)와 비교해 노이즈가 있는 상황에서의 학습 수렴성과 예측 정확도를 향상시키기 위해.
• 복제교환 랑주르 디퓨전의 높은 계산 비용을 가속화된 학습 제도를 도입해 감소시키기 위해.
• 증가하는 노이즈 수준을 가진 여러 매개변수형 PDE 문제에 대해 프레임워크를 검증하기 위해.

제안 방법

• 프레임워크는 두 개의 입자를 서로 다른 온도 파rameter로 사용하는 복제교환 스토하스틱 그래디언트 랑주르 디퓨전(reSGLD)을 적용한다.
• 고온도 입자는 국소 최소값에서 벗어나기 위해 탐색을 수행하고, 저온도 입자는 지역 수렴을 위해 이용을 수행하며, 상세 균형을 보장하기 위해 교환 확률이 적용된다.
• 가속화된 다변량 reSGLD(m-reSGLD) 프레임워크를 제안하며, 반복마다 DeepONet의 하위 네트워크 중 하나(브랜치 또는 트렁크)만 업데이트함으로써 계산 비용을 감소시킨다.
• DeepONet의 아키텍처적 구조를 활용해 하위 네트워크의 선택적 훈련을 가능하게 하여 성능를 유지하면서도 효율성을 향상시킨다.
• 베이지안 프레임워크는 매개변수형 PDE의 예측 솔루션 궤적에 대한 사후 샘플링을 가능하게 하여 불확실성 추정을 지원한다.
• 훈련 과정은 버닝 인 단계를 포함하며, 대규모 데이터셋에 스케일링하기 위해 스토하스틱 그래디언트를 사용한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 훈련 데이터가 존재할 때, 복제교환 랑주르 디퓨전이 DeepONet의 학습 수렴성과 예측 정확도를 향상시킬 수 있는가?
• RQ2 제안된 베이지안 프레임워크는 노이즈가 있는 매개변수형 PDE 문제에서 DeepONet 예측에 대해 신뢰할 수 있는 불확실성 정량화를 제공하는가?
• RQ3 복제교환 랑주르 디퓨전의 계산 비용을 성능 저하 없이 감소시킬 수 있는가?
• RQ4 가속화된 m-reSGLD 프레임워크는 정규 reSGLD 및 Adam과 비교해 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 증가하는 노이즈 수준에서도 예측 정확도를 유지하거나 향상시키는가?

주요 결과

• 노이즈가 ∼N(0, 0.1²)인 이동-확산 문제에서, reSGLD와 m-reSGLD 프레임워크는 Adam보다 유의미하게 낮은 평균 예측 오차를 기록했으며, reSGLD의 경우 e₁ = 11.2455 및 e₂ = 11.9178였고, Adam은 e₁ = 21.5141 및 e₂ = 25.0701이었다.
• m-reSGLD 프레임워크는 저노이즈 상황에서 반복당 평균 계산 시간을 reSGLD의 79.44%로 줄였고, 고노이즈 상황에서는 80.2%로 줄여 최대 25%의 비용 절감을 달성했다.
• reSGLD와 m-reSGLD 모두 고노이즈 상황에서 진짜 솔루션 궤적을 추정된 신뢰구간 내에 100% 오차 커버리지(e₃ = 100%)로 포괄했으며, Adam은 불확실성 추정을 조정하지 못했다.
• 어느 경우에서는 m-reSGLD 프레임워크가 reSGLD보다 더 높은 평균 예측 정확도를 달성했으며, 이는 가속화된 학습 제도가 성능 향상에 기여할 수 있음을 시사한다.
• 제안된 프레임워크는 노이즈가 있는 환경에서 더 빠른 수렴과 향상된 강인성을 보였으며, 정확도와 불확실성 추정 모두에서 Adam을 능가했다.
• 가속화된 m-reSGLD 프레임워크는 계산 비용을 감소시키면서도 예측 성능를 유지하거나 향상시켜 효율성과 효과성을 검증했다.