[논문 리뷰] Deep Multi-fidelity Gaussian Processes

Maziar Raissi, George Em Karniadakis|arXiv (Cornell University)|2016. 04. 26.

Gaussian Processes and Bayesian Inference참고 문헌 4인용 수 53

한 줄 요약

이 논문은 깊이 있는 다중 신뢰도 가우시안 프로세스 프레임워크를 제안하며, 딥 뉴럴 네트워크와 다중 신뢰도 가우시안 프로세스를 결합하여 저신뢰도 및 고신뢰도 시스템 간의 비연속적이고 기능적이지 않은 상관관계를 모델링한다. 깊이 있는 뉴럴 네트워크를 통해 비선형 특성 변환을 학습함으로써 기존 AR(1) 공크리깅의 한계를 초월한 복잡한 상관관계 구조를 포착하며, 비연속적인 관계를 가진 벤치마크 문제에서 뛰어난 성능을 보여준다.

ABSTRACT

We develop a novel multi-fidelity framework that goes far beyond the classical AR(1) Co-kriging scheme of Kennedy and O'Hagan (2000). Our method can handle general discontinuous cross-correlations among systems with different levels of fidelity. A combination of multi-fidelity Gaussian Processes (AR(1) Co-kriging) and deep neural networks enables us to construct a method that is immune to discontinuities. We demonstrate the effectiveness of the new technology using standard benchmark problems designed to resemble the outputs of complicated high- and low-fidelity codes.

연구 동기 및 목표

• 기존 AR(1) 공크리깅이 저신뢰도 및 고신뢰도 시스템 간의 비연속적이고 기능적이지 않은 상관관계를 모델링하는 데 한계를 보이는 문제를 해결한다.
• 풍부한 저신뢰도 데이터와 희소한 고신뢰도 데이터를 효율적으로 활용하여 예측 정확도를 향상시키는 서rogate 모델링 프레임워크를 개발한다.
• 비용이 많이 들고 복잡하며 비연속적인 시스템을 포함하는 역문제에서 정확한 불확실성 정량화를 가능하게 한다.
• 딥 뉴럴 네트워크를 통해 입력의 비선형 변환을 학습함으로써 다중 신뢰도 모델링을 파rametric 가정을 초월해 일반화한다.

제안 방법

• 딥 뉴럴 네트워크를 통해 학습되는 비선형 매핑 $ h(x) $ 에 기반한 다변량 가우시안 프로세스 사전분포를 설정한다. 이는 저신뢰도 및 고신뢰도 출력의 공동 분포에 영향을 미친다.
• 고신뢰도 출력을 $ f_2(h(x)) = \rho f_1(h(x)) + \delta_2(h(x)) $ 로 모델링하며, $ \delta_2 \sim \mathcal{GP}(0, k_2) $ 를 만족한다. 이는 $ h(x) \neq x $ 를 允허함으로써 AR(1) 공크리깅 모델을 확장한다.
• 깊이 있는 뉴럴 네트워크 $ h(x) = (h^L \circ \cdots \circ h^1)(x) $ 를 사용하여 상관관계가 더 구조적이고 학습 가능해지는 비선형 특성 공간을 학습한다.
• 모든 하이퍼파ram터 $ \theta = [\rho, \theta_1, \theta_2, \theta_h] $ (뉴럴 네트워크 가중치 포함) 의 공동 우도를 최적화하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 예측을 위해 공동 GP 사후분포에 대한 마진칼라이제이션을 수행하여 두 신뢰도 수준 모두에 대한 예측 평균과 분산을 제공한다.
• 비유일적이지만 효과적인 비선형 매핑 $ h $ 를 학습함으로써 상관관계의 비연속성을 포착할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 기존 AR(1) 공크리깅에 비해 저신뢰도 및 고신뢰도 시스템 간의 비연속적이고 기능적이지 않은 상관관계를 더 잘 모델링할 수 있는가?
• RQ2 학습된 비선형 변환 $ h(x) $ 는 다중 신뢰도 데이터에서 복잡하고 비연속적인 관계를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 고신뢰도 데이터가 희소할 경우, 제안된 방법이 역문제에서 예측 오차를 얼마나 줄일 수 있는가?
• RQ4 딥 러닝과 가우시안 프로세스의 통합은 비연속적인 시스템에서 더 나은 일반화를 가능하게 하면서도 불확실성 정량화를 유지하는가?

주요 결과

• 제안된 방법은 비연속적인 관계를 가진 합성 벤치마크 문제에서 AR(1) 공크리깅보다 뚜렷이 뛰어난 성능을 보이며, 비연속적인 상관관계를 포착하는 데에 효과적임을 입증했다.
• 딥 뉴럴 네트워크는 비연속성 영역을 효과적으로 분리하는 2차원 특성 공간을 학습하여, 서로 다른 신뢰도 수준 간의 비기능적 의존성을 정확히 모델링할 수 있었다.
• 고신뢰도 관측치가 단 15개뿐이어도 정확한 예측 평균과 불확실성 추정치를 달성하여 데이터 효율성을 입증했다.
• 비연속 영역에서 제안된 딥 다중 신뢰도 GP의 예측 불확실성 구간은 AR(1) 공크리깅보다 더 날카롭고 정확했다.
• 학습된 매핑이 유일하지는 않지만, 진정한 비연속적 매핑 $ h(x) $ 를 성공적으로 포착했으며, 이는 표현 선택에 대한 강건성을 시사한다.
• 가우시안 프로세스의 베이지안 불확실성 정량화를 유지하면서도, 복잡하고 비연속적인 상관관계 구조를 처리할 수 있는 능력을 확장했다.