[논문 리뷰] Convergence Guarantees for Gaussian Process Means With Misspecified Likelihoods and Smoothness

George Wynne, François‐Xavier Briol외 1명|arXiv (Cornell University)|2020. 01. 29.

Gaussian Processes and Bayesian Inference참고 문헌 99인용 수 12

한 줄 요약

이 논문은 우도 또는 부드러움 가정이 잘못되었을 경우 가우시안 프로세스 회귀의 수렴 보장을 제공한다. 특히 실험 설계와 커널 하이퍼파rameter를 조정하여 수렴 속도 저하를 완화할 수 있음을 보이며, 산산이 흩어진 데이터 근사 이론과 재생 커널 힐버트 공간 이론을 사용해 이론적 경계를 도출한다.

ABSTRACT

Gaussian processes are ubiquitous in machine learning, statistics, and applied mathematics. They provide a flexible modelling framework for approximating functions, whilst simultaneously quantifying uncertainty. However, this is only true when the model is well-specified, which is often not the case in practice. In this paper, we study the properties of Gaussian process means when the smoothness of the model and the likelihood function are misspecified. In this setting, an important theoretical question of practial relevance is how accurate the Gaussian process approximations will be given the difficulty of the problem, our model and the extent of the misspecification. The answer to this problem is particularly useful since it can inform our choice of model and experimental design. In particular, we describe how the experimental design and choice of kernel and kernel hyperparameters can be adapted to alleviate model misspecification.

연구 동기 및 목표

• 진정한 데이터 생성 과정과 일치하지 않는 우도 또는 부드러움 가정으로 인한 모델 불일치 문제를 실용적으로 다루기 위해.
• 불일치가 비모수적 회귀에서 가우시안 프로세스 평균의 수렴 속도에 미치는 영향을 정량화하기 위해.
• 불일치 하에서 근사 오차를 최소화하기 위해 실험 설계, 커널, 하이퍼파rameter를 선택하는 데 이론적 지침을 제공하기 위해.
• 우도 및 부드러움 불일치의 상호작용 영향을 분석하여 기존 수렴 결과를 통합하고 확장하기 위해.
• 베이지안 최적화, 크리깅, 불확실성 정량화와 같은 적용 분야에서 강건한 모델 설계를 위한 정보를 제공하는 경계 유도하기 위해.

제안 방법

• 산산이 흩어진 데이터 근사(SDA) 이론을 사용해 불일치 하에서 GP 평균의 수렴 경계를 유도한다.
• 재생 커널 힐버트 공간(RKHS) 및 소볼레프 공간 이론을 적용해 부드러움 불일치를 특성화한다.
• 채움 거리와 커널 하이퍼파rameter를 포함하는 샘플링 부등식을 유도해 근사 오차를 경계한다.
• 함수 공간에서 작은 구의 로그 측도를 제어하기 위해 재귀 부등식(Eq. 36)을 도입하여 꼬리 확률 경계를 가능하게 한다.
• 수렴 보장을 위해 필수적인 작은 채움 거리를 확보하기 위해 준균일 샘플링 전략을 사용한다.
• 사후 분포의 역 농도 함수에 대한 경계를 도출하며, 이는 목표 함수의 부드러움과 커널 하이퍼파ram터와 연결된다.

실험 결과

연구 질문

• RQ1 우도 및 부드러움 불일치가 가우시안 프로세스 평균의 수렴 속도에 공동으로 미치는 영향은 무엇인가?
• RQ2 실험 설계와 커널 하이퍼파arameter는 모델 불일치의 영향을 완화하는 데 어떤 역할을 하는가?
• RQ3 진정한 우도가 가정된 것과 다를 경우(예: 비정규성 잡음에 정규성 가정), 이론적 수렴 경계를 도출할 수 있는가?
• RQ4 목표 함수의 부드러움이 GP 사전분포의 부드러움과 비교할 때 사후 농도 속도에 어떤 영향을 미치는가?
• RQ5 적응형 설계와 커널 선택은 어느 정도 모델 불일치 하에서 강건성을 향상시킬 수 있는가?

주요 결과

• 논문은 우도 및 부드러움 불일치 하에서도 산산이 흩어진 데이터 근사 기법을 사용해 수렴 속도를 경계할 수 있음을 입증한다.
• 진정한 함수가 가정된 것보다 덜 부드러울 경우(부드러움 불일치), 수렴 속도가 저하되지만 적절한 커널 하이퍼파aram터 선택으로 이를 완화할 수 있다.
• 사후 농도 속도의 경계는 커널의 최소 및 최대 부드러움 파라미터에 의존하며, 이는 $ \tau_{k}^{-} $와 $ \tau_{k}^{+} $에 의해 제어된다.
• 모든 $ n \geq N $에 대해, $ \psi_{\theta_n,f}^{-1}(n) \leq C \max\left(n^{-\tau_f/(2\tau_k^+)}, n^{d/(4\tau_k^{-})-1/2}\right) $ 를 만족하며, 이는 부드러움과 표본 크기 사이의 상충 관계를 보여준다.
• 샘플링 설계의 채움 거리는 수렴을 보장하기 위해 충분히 작아야 하며, 준균일 설계는 이를 효율적으로 달성한다.
• 이론적 경계는 모델 불일치에 강건하며, 실무에서 적응형 실험 설계 및 커널 선택을 위한 프레임워크를 제공한다.