[논문 리뷰] Deep Gaussian Processes for Multi-fidelity Modeling

Kurt Cutajar, Mark Pullin외 3명|arXiv (Cornell University)|2019. 03. 18.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 41

한 줄 요약

소개 mf-dgp, 다중 충실도 데이터용 심층 가우시안 프로세스 모델로, 충실도 수준 간의 엔드-투-엔드 학습과 불확실성 전파를 가능하게 하여 활성 학습 및 실험 설계에서 불확실성 보정 및 의사결정 향상.

ABSTRACT

Multi-fidelity methods are prominently used when cheaply-obtained, but possibly biased and noisy, observations must be effectively combined with limited or expensive true data in order to construct reliable models. This arises in both fundamental machine learning procedures such as Bayesian optimization, as well as more practical science and engineering applications. In this paper we develop a novel multi-fidelity model which treats layers of a deep Gaussian process as fidelity levels, and uses a variational inference scheme to propagate uncertainty across them. This allows for capturing nonlinear correlations between fidelities with lower risk of overfitting than existing methods exploiting compositional structure, which are conversely burdened by structural assumptions and constraints. We show that the proposed approach makes substantial improvements in quantifying and propagating uncertainty in multi-fidelity set-ups, which in turn improves their effectiveness in decision making pipelines.

연구 동기 및 목표

• 고충실도 데이터가 부족하고 비용이 많이 들 때 신뢰할 수 있는 다중 충실도 모델링의 필요성을 제시한다.
• 여러 충실도를 공동으로 모델링할 수 있는 심층 가우시안 프로세스 프레임워크를 개발한다.
• 과적합을 피하기 위해 충실도 계층 전반에 걸친 불확실성 전파를 갖춘 엔드투엔드 학습을 제공한다.
• 현실 세계와 합성 벤치마크에서 불확실성 정량화의 향상과 실용적 활용성을 입증한다.

제안 방법

• 각 충실도를 심층 가우시안 프로세스의 하나의 계층으로 모델링하여 충실도 간의 GP 구성(composition)을 가능하게 한다.
• 각 계층에 유도점(inducing points)을 두고 희소 변분 근사를 사용하여 계산 가능한 추론을 달성한다.
• 비선형 충실도 매핑과 원래 입력을 결합하는 다중 충실도 커널을 정의한다(Equation 9–11).
• KL 정규화를 동반하여 충실도와 계층을 합산하는 단일한 변분 목적함수(ELBO)를 채택한다(Equation 7).
• 확률적 변분 추론으로 학습하고 초기 학습을 안정시키기 위해 이단계 최적화를 적용한다.
• 선행 충실도를 통해 입력을 전파하고 MC 샘플링으로 임의의 충실도에서 출력을 예측한다(Equation 8).

실험 결과

연구 질문

• RQ1 단일 심층 GP 모델이 과적합 없이 충실도 간의 비선형 관계를 포착할 수 있는가?
• RQ2 mf-dgp의 엔드투엔드 학습이 스택형(stacked) 또는 자기회귀(autoregressive) 모델과 비교하여 불확실성 보정성을 향상시키는가?
• RQ3 선형 및 비선형 충실도 매핑이 있는 합성 다중 충실도 작업에서 mf-dgp의 성능은 어떠한가?
• RQ4 대규모 실제 데이터 세트에서도 신뢰할 수 있는 불확실성 추정치를 유지하면서 mf-dgp가 확장 가능한가?

주요 결과

• mf-dgp는 데이터가 희소한 영역에서 보수적이고 잘 보정된 불확실성을 산출한다.
• 합성 벤치마크에서 mf-dgp는 선형 및 비선형 충실도 매핑에서 R^2, RMSE, mnll 측면에서 ar1 및 nargp를 능가한다.
• 대규모 실제 말라리아 데이터셋에서 소배치 학습을 포함한 mf-dgp는 고충실도 전용 GP(0.096)보다 낮은 RMSE(0.063)를 달성한다.
• mf-dgp는 후향 공분산을 커널로 사용하는 Determinantal Point Processes를 통한 실험 설계를 지원한다.
• 충실도 간의 엔드투엔드 학습은 과적합을 피하고 이전의 다중 충실도 방법에 비해 후향 불확실성 전파를 개선한다.