[논문 리뷰] Approximating Gaussian Process Emulators with Linear Inequality Constraints and Noisy Observations via MC and MCMC

Andrés F. López-Lopera, François Bachoc외 4명|arXiv (Cornell University)|2019. 01. 15.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 10

한 줄 요약

이 논문은 선형 부등식 제약 조건과 노이즈 있는 관측치를 갖는 가우시안 프로세스(GP) 은유자에 대해 몬테 카를로(MC) 및 마르코프 체인 몬테 카를로(MCMC) 방법을 사용하는 새로운 프레임워크를 제안한다. 엄격한 내삽 조건을 완화하기 위해 노이즈 항을 도입함으로써, 더 제약이 적은 공간에서 더 효율적인 샘플링이 가능해져 MCMC의 효율성이 크게 향상되고, 해안 홍수와 같은 고차원 문제에서 단조성 및 양성 제약 조건을 갖는 스케일러블하고 현실적인 GP 은유가 가능해진다.

ABSTRACT

Adding inequality constraints (e.g. boundedness, monotonicity, convexity) into Gaussian processes (GPs) can lead to more realistic stochastic emulators. Due to the truncated Gaussianity of the posterior, its distribution has to be approximated. In this work, we consider Monte Carlo (MC) and Markov Chain Monte Carlo (MCMC) methods. However, strictly interpolating the observations may entail expensive computations due to highly restrictive sample spaces. Furthermore, having (constrained) GP emulators when data are actually noisy is also of interest for real-world implementations. Hence, we introduce a noise term for the relaxation of the interpolation conditions, and we develop the corresponding approximation of GP emulators under linear inequality constraints. We show with various toy examples that the performance of MC and MCMC samplers improves when considering noisy observations. Finally, on 2D and 5D coastal flooding applications, we show that more flexible and realistic GP implementations can be obtained by considering noise effects and by enforcing the (linear) inequality constraints.

연구 동기 및 목표

• 가우시안 프로세스 은유자에서 엄격한 내삽 제약 조건 하에서 잘리기 쉬운 가우시안 프로세스의 계산 불가능성을 해결하기 위해.
• 관측 노이즈를 통해 내삽 조건을 완화함으로써 MC 및 MCMC 방법의 샘플링 효율성을 향상시키기 위해.
• 단조성 및 양성 제약 조건이 있는 고차원 문제(예: 5차원 해안 홍수)에서 실용적이고 현실적인 GP 은유를 가능하게 하기 위해.
• 노이즈 있는 관측을 통한 내삽 조건 완화가 제약 조건이 있는 MCMC 샘플링에서 더 높은 유효 샘플 크기와 더 빠른 수렴을 이끌어내는지 확인하기 위해.
• 소규모 학습 데이터 세트에서도 정확도를 유지하면서 확장 가능한 제약 조건이 있는 GP 은유를 위한 프레임워크를 제공하기 위해.

제안 방법

• 관측치를 노이즈 항과 함께 모델링하여 엄격한 내삽 조건을 완화함으로써, 제약 조건이 있는 사후 분포를 더 제약이 적은 샘플 공간으로 전환한다.
• 입력 공간 전역에서 선형 부등식 제약 조건을 정확하게 구현할 수 있도록 조각별 선형 기저 함수와 격자점을 사용한 유한 차원 GP 근사법을 도입한다.
• 구조화된 공분산을 위해 고차원 입력에서 1D Matérn 5/2 핵심의 크로네커 곱을 사용하며, 최대우도 기반으로 파라미터를 추정한다.
• 해안 홍수 응용 분야에서 주요 입력 차원(T 및 S)에서 양성 및 단조성 제약 조건을 적용한다.
• 선형적 행동을 보이는 차원(예: T, S, t−, t+)에 대해 희박한 격자점 배치를 사용하여 계산 비용을 줄이면서도 정확도를 유지한다.
• MCMC 및 해밀토니안 몬테 카를로(HMC) 샘플러를 사용하여 제약 조건과 노이즈 하에서 잘리기 쉬운 사후 분포를 근사한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 GP 은유자에 관측 노이즈를 도입하면 MC 및 MCMC 샘플러의 효율성과 수렴 속도가 향상되는가?
• RQ2 노이즈를 통한 내삽 제약 조건 완화가 고차원 문제에서 GP 은유자의 정확성과 현실성에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 제약 조건이 있는 GP 은유자가 5차원 응용에서 높은 유효 샘플 크기와 합리적인 실행 시간을 달성할 수 있는가?
• RQ4 제한된 학습 데이터에서 양성 및 단조성 제약 조건이 예측 성능에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 해안 홍수 시뮬레이션과 같은 실제 고차원 문제에 대해 확장 가능한가?

주요 결과

• 관측 노이즈의 도입은 샘플 공간의 제약을 줄여 MCMC 샘플링 효율성을 크게 향상시키며, 더 빠른 수렴과 더 높은 유효 샘플 크기를 가능하게 한다.
• 1차원 및 5차원 단조성 예제에서 HMC 샘플러는 다른 샘플러보다 뛰어난 성능을 보였으며, 고차원 제약 공간에서도 높은 유효 샘플 크기를 달성했다.
• 단지 10%의 데이터(20개 관측치)만으로도 양성 및 단조성 제약 조건이 있는 제약 조건이 있는 GP 은유자가 해안 홍수 응용에서 높은 예측 정확도를 달성했다(예측 정확도 Q2 향상).
• MC 및 MCMC 샘플러의 계산 복잡도는 관측치 수(n)가 아니라 격자점 수(m)에 의존하므로, n이 매우 클 경우 m ≪ n 조건을 만족함으로써 확장 가능한 추론이 가능하다.
• 이 프레임워크는 양성, 단조성 등의 선형 부등식 제약 조건을 성공적으로 구현하면서도, 토이 문제와 실제 2차원 및 5차원 응용 분야에서 물리적 지침에 기반한 현실적인 프로파일을 유지한다.
• 선형적 행동을 보이는 차원에서 희박한 격자점 배치를 사용함으로써 계산 비용을 감소시켰지만 예측 정확도를 손상시키지 않았으며, 이는 확장성의 지원이 된다.