[논문 리뷰] Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed

Toni Karvonen, Chris J. Oates|arXiv (Cornell University)|2022. 03. 17.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 최대우도추정(MLE)이 노이즈가 없는 설정에서 임의의 정적 공분산 커널에 대해 스케일 길이 파라미터를 MLE로 추정할 경우 가우시안 프로세스 회귀에서 잘못 정의된 문제임을 보여준다. 저자들은 예측 분포가 헬링거 거리 기준으로 데이터에 대해 리프시츠 연속성이 아님을 증명하여, 훈련 데이터에 대한 미세한 변형이 예측에 무한히 큰 변화를 일으킬 수 있음을 시사하며, 민감한 응용 분야에서 모델 신뢰도를 약화시킴을 의미한다.

ABSTRACT

Gaussian process regression underpins countless academic and industrial applications of machine learning and statistics, with maximum likelihood estimation routinely used to select appropriate parameters for the covariance kernel. However, it remains an open problem to establish the circumstances in which maximum likelihood estimation is well-posed, that is, when the predictions of the regression model are insensitive to small perturbations of the data. This article identifies scenarios where the maximum likelihood estimator fails to be well-posed, in that the predictive distributions are not Lipschitz in the data with respect to the Hellinger distance. These failure cases occur in the noiseless data setting, for any Gaussian process with a stationary covariance function whose lengthscale parameter is estimated using maximum likelihood. Although the failure of maximum likelihood estimation is part of Gaussian process folklore, these rigorous theoretical results appear to be the first of their kind. The implication of these negative results is that well-posedness may need to be assessed post-hoc, on a case-by-case basis, when maximum likelihood estimation is used to train a Gaussian process model.

연구 동기 및 목표

• 가우시안 프로세스 회귀에서 최대우도추정(MLE)의 잘 정의됨 여부를 조사하는 것, 특히 노이즈가 없는 보간 설정에서의 경우를 중심으로 한다.
• MLE가 훈련 데이터의 미세한 변형에 대해 예측이 안정적인지 여부를 판단하는 것.
• MLE가 잘 정의되지 않는다는 엄밀한 이론적 조건을 설정하여 표준 실무에서의 안정성 가정을 도전하는 것.
• 안전 중심 응용 분야에서 사용되는 가우시안 프로세스 모델의 MLE 신뢰성에 대한 공식적 기초를 제공하는 것.

제안 방법

• 저자들은 헬링거 거리를 측도로 사용하여 훈련 데이터의 변형에 대한 예측 분포의 헬링거 연속성을 분석한다.
• 데이터가 고정된 함수 f에 의해 생성되는 노이즈 없는 경우를 고려하며, 공분산 커널은 정적이고 스케일 길이 파라미터는 추정된다.
• 이론적 분석은 MLE 목표 함수 ℓ(θ|Y) = YₘᵀKθ⁻¹Yₘ + log det Kθ 내의 역공분산 행렬과 행렬식의 성질에 기반한다.
• 특정 커널 구조—예를 들어 크로네커 또는 반데르몽드 타입의 공분산 행렬을 가진 경우—에 대해 스케일 길이 λ→∞ 일 때 Kθ⁻¹ 및 log det Kθ 의 행동을 분석한다.
• 증명은 역공분산 행렬과 행렬식의 점근적 분석을 사용하여, λ→∞ 일 때 이차형식 YₘᵀKθ⁻¹Yₘ 는 유계이지만 log det Kθ → -∞ 임을 보여준다.
• 핵심 기법은 커널의 도함수의 와이언스키안과 커널의 푸리에 변환 성질을 사용하여 점근적 영역에서의 극한 행렬이 비특이적임을 확보하는 것.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 회귀에서 최대우도추정(MLE)이 잘 정의된다는 것은 어떤 조건에서 성립하는가, 즉 예측이 작은 데이터 변형에 대해 안정적인가?
• RQ2 스케일 길이 파라미터의 MLE가 헬링거 거리 기준으로 훈련 데이터에 대해 예측 분포가 연속적인가?
• RQ3 MLE의 잘못 정의됨은 노이즈 없는 보간 설정에서 정적 커널의 일반적 특성인가?
• RQ4 제곱 지수 또는 마테른 커널과 같은 일반적인 커널 가족에 대해 MLE의 잘 정의되지 않는다는 것을 엄밀히 증명할 수 있는가?

주요 결과

• 스케일 길이 파라미터를 MLE로 추정할 경우, 노이즈 없는 설정에서 임의의 정적 공분산 커널에 대해 가우시안 프로세스 회귀의 최대우도추정(MLE)은 잘못 정의된 문제이다.
• 헬링거 거리 기준으로 예측 분포는 데이터에 대해 리프시츠 연속성이 아니며, 이는 작은 데이터 변형이 예측에 무한히 큰 변화를 일으킬 수 있음을 의미한다.
• 스케일 길이 파라미터 λ→∞ 일 때, 이차형식 YₘᵀKλ⁻¹Yₘ 는 유계이지만 log det Kλ → -∞ 로서 MLE 목표 함수의 불안정성을 초래한다.
• Yₘ 이 일정한 경우(예: Yₘ = (c,…,c))에 대해 이차형식의 극한은 존재하고 유한하지만, 행렬식 항이 지배적으로 작용하여 목표 함수는 -∞ 로 수렴한다.
• 커널의 도함수의 와이언스키안은 커널의 푸리에 변환값이 양수일 경우 비특이적이며, 이는 점근적 행렬이 가역이고 극한이 잘 정의됨을 보장한다.
• 잘 정의되지 않는다는 실패는 수치적 불안정성 때문이 아니라 노이즈 없는 설정에서 MLE 목표 함수의 본질적 성질이며, 안전 중심 응용 분야에서의 사용을 도전한다.