[논문 리뷰] An adaptive surrogate modeling based on deep neural networks for large-scale Bayesian inverse problems

Liang Yan, Tao Tang|arXiv (Cornell University)|2019. 11. 20.

Probabilistic and Robust Engineering Design참고 문헌 37인용 수 10

한 줄 요약

이 논문은 대규모 베이지안 역문제를 위한 적응형 다중 정밀도 딥 네ural 네트워크(DNN) 대체 모델을 제안한다. 여기서 사전 분포 기반 DNN는 소수의 고정밀도 시뮬레이션을 사용하여 온라인으로 점진적으로 개선된다. 이전의 대체 모델을 새로운 얕은 DNN의 입력으로 간주함으로써, 이 방법은 최소한의 고정밀도 평가로 정확한 사후 추정을 달성하며, 계산 비용을 크게 줄이면서도 높은 정확도를 유지한다.

ABSTRACT

In Bayesian inverse problems, surrogate models are often constructed to speed up the computational procedure, as the parameter-to-data map can be very expensive to evaluate. However, due to the curse of dimensionality and the nonlinear concentration of the posterior, traditional surrogate approaches (such us the polynomial-based surrogates) are still not feasible for large scale problems. To this end, we present in this work an adaptive multi-fidelity surrogate modeling framework based on deep neural networks (DNNs), motivated by the facts that the DNNs can potentially handle functions with limited regularity and are powerful tools for high dimensional approximations. More precisely, we first construct offline a DNNs-based surrogate according to the prior distribution, and then, this prior-based DNN-surrogate will be adaptively \& locally refined online using only a few high-fidelity simulations. In particular, in the refine procedure, we construct a new shallow neural network that view the previous constructed surrogate as an input variable -- yielding a composite multi-fidelity neural network approach. This makes the online computational procedure rather efficient. Numerical examples are presented to confirm that the proposed approach can obtain accurate posterior information with a limited number of forward simulations.

연구 동기 및 목표

• 비용이 많이 드는 정방 모델로 인해 대규모 베이지안 역문제에서 계산 비용이 높아지는 문제를 해결한다.
• 저규칙성 및 고차원 문제를 다루는 데 한계가 있는 전통적인 다항 혼합 확장(PCEs)의 한계를 극복한다.
• 전체 사전 분포 지원이 아닌 사후 집중 영역에 집중하는 적응형이고 국소적으로 정밀해진 대체 모델을 개발한다.
• 다중 정밀도 DNN 개선을 통해 고정밀도 모델 평가 횟수를 최소화하여 온라인 추론을 효율적으로 구현한다.
• 제한된 계산 자원이 있는 복잡한 역문제에서 데이터 효율적이고 확장 가능한 대체 모델링 프레임워크를 제공한다.

제안 방법

• 100개의 샘플로 구성된 사전 기반 훈련 세트를 사용하여 오프라인으로 훈련된 DNN 대체 모델을 구축하여 정방 모델을 근사한다.
• 다중 정밀도 DNN 아키텍처를 사용하여, 온라인 개선 과정에서 사전 기반 DNN의 출력을 새로운 얕은 DNN의 입력으로 제공한다.
• 사후 가능성 높은 영역에서 50개의 새로운 고정밀도 샘플을 적응적으로 선택하여 보정 네트워크를 훈련시켜 국소 정확도를 확보한다.
• 과적합 방지를 위해 λ = 10⁻⁶로 티호노프 정규화를 적용하여 보정 DNN의 훈련을 안정화시킨다.
• 저정밀도 DNN 예측과 고정밀도 보정을 결합하여 반복적으로 대체 모델을 개선함으로써 복합 모델을 형성한다.
• 개선된 대체 모델을 MCMC 샘플링에 활용하여 계산 비용을 줄이고 사후 기대값을 계산한다.

실험 결과

연구 질문

• RQ1 DNN 기반 대체 모델은 고정밀도 평가 횟수가 제한된 고차원 베이지안 역문제에서 정확한 사후 근사치를 달성할 수 있는가?
• RQ2 다중 정밀도 DNN 개선 전략은 전역 사전 기반 DNN 대체 모델에 비해 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ3 대체 모델의 적응형 국소 정밀화는 신뢰할 수 있는 추론을 위해 필요한 고정밀도 시뮬레이션 횟수를 줄일 수 있는가?
• RQ4 직접 MCMC와 비교할 때 제안된 방법은 계산 비용과 사후 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 복합 DNN 아키텍처는 저규칙성 및 고차원 정방 모델에 대해 강건한가?

주요 결과

• 적응형 DNN 대체 모델(ADNN)은 고정밀도 평가 950회만으로도 직접 MCMC와 거의 구분할 수 없을 정도로 정확한 사후 평균 및 표준편차 추정치를 달성했다.
• ADNN 방법은 직접 MCMC(고정밀도 평가 50,000회)의 5507.5초 대비 총 계산 시간을 115.7초로 줄였다.
• 100개의 훈련 포인트로 구성된 사전 기반 DNN는 낮은 사후 추정치를 제공하여 적응형 개선의 필요성을 입증했다.
• ADNN 대체 모델의 온라인 평가는 단지 88.9초로 끝나, 적응형 개선에도 불구하고 높은 효율성을 보였다.
• 이 방법은 최소한의 고정밀도 평가로도 높은 정확도를 유지하였으며, 직접 MCMC 대비 필요 시뮬레이션 횟수를 98% 이상 감소시켰다.
• 복합 다중 정밀도 DNN 아키텍처는 사후 집중 영역을 효과적으로 포착하여 정확도와 계산 비용 면에서 전역 대체 모델 접근 방식을 능가했다.