[논문 리뷰] Deep Probabilistic Surrogate Networks for Universal Simulator Approximation

Atılım Güneş Baydin|arXiv (Cornell University)|2020. 01. 01.

Model Reduction and Neural Networks참고 문헌 37인용 수 6

한 줄 요약

이 논문은 구조적 의미를 유지하면서도 해석 가능하고 빠르고 정확한 신경망 근사치를 제공하는 딥 확률적 서rogate 네트워크(DPSN)를 제안한다. 상업용 복합재료 경화 시뮬레이터를 서rogate로 대체함으로써, 이론적 추론을 10배 빠르게 하여 표면 측정값에서 잠재 온도 프로파일 복원을 통한 실시간 비침습적 품질 평가를 가능하게 한다.

ABSTRACT

We present a framework for automatically structuring and training fast, approximate, deep neural surrogates of existing stochastic simulators. Unlike traditional approaches to surrogate modeling, our surrogates retain the interpretable structure of the reference simulators. The particular way we achieve this allows us to replace the reference simulator with the surrogate when undertaking amortized inference in the probabilistic programming sense. The fidelity and speed of our surrogates allow for not only faster forward stochastic simulation but also for accurate and substantially faster inference. We support these claims via experiments that involve a commercial composite-materials curing simulator. Employing our surrogate modeling technique makes inference an order of magnitude faster, opening up the possibility of doing simulator-based, non-invasive, just-in-time parts quality testing; in this case inferring safety-critical latent internal temperature profiles of composite materials undergoing curing from surface temperature profile measurements.

연구 동기 및 목표

• 스토케스틱 시뮬레이터의 해석 가능한 구조를 유지하면서도 빠른 추론을 가능하게 하는 서rogate 모델링 프레임워크를 개발하기 위해.
• 확률적 프로그래밍 워크로드에서 스토케스틱 시뮬레이터의 계산적 병목 현상을 해결하기 위해, 이를 딥 네트워크 서rogate로 대체하기 위해.
• 특히 복합재료 경화와 같은 안전이 중요한 응용 분야를 위한 복잡한 시뮬레이터 기반 모델에서의 암시적 추론을 가능하게 하기 위해.
• 산업 공정에서의 비침습적 실시간 품질 테스트를 위한 서rogate의 실현 가능성을 입증하기 위해.

제안 방법

• 프레임워크는 참조 시뮬레이터의 구조적 및 확률적 행동을 모방하는 딥 네트워크를 구성하여, 그 해석 가능성을 유지한다.
• 입력 조건에서 출력 분포로의 매핑을 가능하게 하는 미분 가능한 아키텍처를 사용하여, 시뮬레이터의 스토케스틱 역학을 모방한다.
• 서rogate는 참조 시뮬레이터의 데이터를 사용하여 엔드 투 엔드로 훈련되며, 시뮬레이터의 조건부 확률 구조를 유지한다.
• 관측된 데이터에 서rogate를 조건화함으로써 암시적 추론이 가능해지며, 이는 효율적인 사후 분포 근사화를 가능하게 한다.
• 동일한 서rogate 네트워크를 사용하여 전방 시뮬레이션과 사후 추론을 모두 지원한다.
• 훈련 과정은 서rogate의 예측 분포가 원본 시뮬레이터의 분포와 밀도 있게 유사하도록 보장한다.

실험 결과

연구 질문

• RQ1 복잡한 스토케스틱 시뮬레이터의 구조적 및 확률적 의미를 유지하면서도 학습 가능한 딥 네트워크 서rogate를 만들 수 있는가?
• RQ2 이러한 서rogate가 확률적 프로그래밍 워크로드에서 추론을 얼마나 빠르게 할 수 있는가?
• RQ3 제한된 관측 데이터에서 잠재 내부 상태를 실시간으로 비침습적으로 추론할 수 있는가?
• RQ4 안전이 중요한 추론 작업에서 서rogate의 정확도가 원본 시뮬레이터와 비교해 어떻게 되는가?
• RQ5 서rogate는 산업 공정에서의 실시간 품질 테스트에 효과적으로 활용될 수 있는가?

주요 결과

• 서rogate 모델은 원본 시뮬레이터 대비 추론 속도를 10배 빠르게 하여 실시간 분석을 가능하게 한다.
• 서rogate는 원본 시뮬레이터의 출력 분포와 높은 유사도를 유지하여 신뢰할 수 있는 추론을 보장한다.
• 표면 온도 측정값에서 복합재료의 잠재 내부 온도 프로파일을 정확하게 복원할 수 있다.
• 물리적 프로브 없이 안전이 중요한 내부 상태를 추론함으로써 비침습적 실시간 품질 테스트가 가능해진다.
• 서rogate는 빠른 전방 시뮬레이션과 효율적인 사후 추론을 모두 지원하여 확률적 프로그래밍 파이프라인에 적합하다.
• 복합재료 경화를 포함한 실제 산업 응용 분야에서의 실용성도 입증되었다.