[논문 리뷰] Additive Kernels for Gaussian Process Modeling

Nicolas Durrande, David Ginsbourger외 1명|arXiv (Cornell University)|2011. 03. 21.

Advanced Multi-Objective Optimization Algorithms참고 문헌 15인용 수 13

한 줄 요약

이 논문은 고차원 입력 공간에서 효율적이고 해석 가능하며 확률론적으로 타당한 모델링을 가능하게 하기 위해 가우시안 프로세스 모델에 추가성(additivity)을 커널 구조에 직접 통합한 Additive Kriging을 제안한다. 매개변수 추정을 위해 Relaxed Likelihood Maximization (RLM) 알고리즘을 사용함으로써, 일반화된 추가 모델(GAMs)과 유사한 예측 성능를 달성하면서도 전체 불확실성 정량화와 커널 유연성을 유지하며, Sobol의 g-함수와 같은 고차원 테스트 케이스에서 표준 크리징보다 뛰어난 성능을 보였다.

ABSTRACT

Gaussian Process (GP) models are often used as mathematical approximations of computationally expensive experiments. Provided that its kernel is suitably chosen and that enough data is available to obtain a reasonable fit of the simulator, a GP model can beneficially be used for tasks such as prediction, optimization, or Monte-Carlo-based quantification of uncertainty. However, the former conditions become unrealistic when using classical GPs as the dimension of input increases. One popular alternative is then to turn to Generalized Additive Models (GAMs), relying on the assumption that the simulator's response can approximately be decomposed as a sum of univariate functions. If such an approach has been successfully applied in approximation, it is nevertheless not completely compatible with the GP framework and its versatile applications. The ambition of the present work is to give an insight into the use of GPs for additive models by integrating additivity within the kernel, and proposing a parsimonious numerical method for data-driven parameter estimation. The first part of this article deals with the kernels naturally associated to additive processes and the properties of the GP models based on such kernels. The second part is dedicated to a numerical procedure based on relaxation for additive kernel parameter estimation. Finally, the efficiency of the proposed method is illustrated and compared to other approaches on Sobol's g-function.

연구 동기 및 목표

• 고전적 가우시안 프로세스 모델의 치명적 차원의 극복 문제를 커널 구조에 추가성을 통합함으로써 해결하기 위해.
• 추가 GP 모델의 커널 매개변수를 추정하기 위한 수치적으로 효율적이고 데이터 기반의 방법을 개발하기 위해.
• 추가 모델의 해석 가능성과 복잡성 감소 특성과 가우시안 프로세스의 완전한 확률론적 프레임워크를 융합하기 위해.
• 고차원 대체 모델링에서 불확실성 정량화 및 예측 분산 추정을 가능하게 하기 위해.
• 추가 GP 모델이 GAMs의 성능을 따라하거나 능가할 수 있으며, GP 고유의 이점을 유지할 수 있음을 입증하기 위해.

제안 방법

• 전체 공분산 함수가 단변량 커널 함수의 합으로 분해되는 새로운 추가 커널 구조를 제안하여, 결과적으로 유도된 GP가 구조적으로 추가성임을 보장한다.
• 추가 GP의 공분산 커널의 해석적 형태를 유도하여 정상성과 추가 성분의 적절한 모델링을 보장한다.
• 이론적 가능성을 높이기 위해 유사도를 하위 문제로 분리하여 반복적으로 커널 매개변수를 최적화하는 Relaxed Likelihood Maximization (RLM) 알고리즘을 도입하여 고차원에서의 수렴성을 향상시킨다.
• 모수의 경계 최적화를 위해 RLM 내부에서 BFGS 알고리즘을 사용하며, 매개변수 업데이트의 안정성을 확보하기 위해 유연성 단계를 포함한다.
• 각 단변량 성분이 다른 성분에 조건부로 업데이트되는 계층적 매개변수 추정 전략을 적용하여 추가성 구조를 유지한다.
• 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling, LHS)을 사용한 4차원 Sobol의 g-함수 예제에 적용하고, 예측성 계수 $Q_2$를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스의 커널에 추가 구조를 직접 통합하여 고차원 입력 공간에서의 확장성과 해석 가능성을 향상시킬 수 있는가?
• RQ2 제안된 RLM 기반 Additive Kriging의 성능은 표준 크리징과 GAM에 비해 예측 정확도 및 불확실성 정량화 측면에서 어떻게 비교되는가?
• RQ3 RLM 알고리즘이 추가 GP 모델에서 표준 유사도 최대화보다 더 안정적이고 효율적인 매개변수 추정을 제공하는가?
• RQ4 추가 커널 구조가 고차원 설정에서 예측 분산과 같은 가우시안 프로세스의 확률론적 성질을 어느 정도 유지하는가?
• RQ5 제안된 방법은 Sobol의 g-함수처럼 주 효과는 강하고 상호작용은 약한 함수를 효과적으로 모델링할 수 있는가?

주요 결과

• RLM 알고리즘은 20개의 LHS DoEs에서 평균 $Q_2$가 0.90, 표준편차 0.016를 기록하여 표준 크리징($Q_2 = 0.82$)과 ULM 기반 Additive Kriging($Q_2 = 0.88$)을 모두 초월했다.
• RLM 기반 Additive Kriging는 $Q_2 = 0.90$를 달성하여, 추가 모델링에서 금융 표준으로 여겨지는 GAM의 성능과 동일한 성능을 보였다.
• 관측 노이즈 $ au^2$는 5회의 RLM 반복 과정에서 초기 값에서 0.01로 감소하여 수렴성과 모델 적합도 향상을 시사했다.
• RLM를 통해 확보된 단변량 하위모델은 1D 투영도에서 g-함수의 해석적 주효과를 잘 근사함을 보였다.
• 고차원 설정에서 뛰어난 안정성과 강건성을 보였으며, 표준 크리징과 Marrel의 방법보다 $Q_2$의 분산이 낮았다.
• Additive Kriging는 예측 분산을 포함한 완전한 확률론적 프레임워크를 유지한다. 이는 단변량 모델의 예측 분산이 추가되지 않음을 고려할 때, 별개의 단변량 메타모델보다 더 타당한 선택임을 정당화한다.