[論文レビュー] Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed

Toni Karvonen, Chris J. Oates|arXiv (Cornell University)|Mar 17, 2022

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

本稿では、ノイズレス設定下で任意のステーションナリィな共分散カーネルに対して、長さスケールパラメータをMLEで推定する場合、ガウス過程回帰における最尤推定（MLE）が不適切（ill-posed）であることを示している。著者らは、予測分布がヘルミート距離におけるデータに関してリプシッツ連続でないことを証明しており、これは、訓練データの微小な摂動が予測に全く大きな変化をもたらす可能性があることを意味し、感受性の高い応用分野におけるモデルの信頼性を損なうものである。

ABSTRACT

Gaussian process regression underpins countless academic and industrial applications of machine learning and statistics, with maximum likelihood estimation routinely used to select appropriate parameters for the covariance kernel. However, it remains an open problem to establish the circumstances in which maximum likelihood estimation is well-posed, that is, when the predictions of the regression model are insensitive to small perturbations of the data. This article identifies scenarios where the maximum likelihood estimator fails to be well-posed, in that the predictive distributions are not Lipschitz in the data with respect to the Hellinger distance. These failure cases occur in the noiseless data setting, for any Gaussian process with a stationary covariance function whose lengthscale parameter is estimated using maximum likelihood. Although the failure of maximum likelihood estimation is part of Gaussian process folklore, these rigorous theoretical results appear to be the first of their kind. The implication of these negative results is that well-posedness may need to be assessed post-hoc, on a case-by-case basis, when maximum likelihood estimation is used to train a Gaussian process model.

研究の動機と目的

• 最尤推定（MLE）の適切さ（well-posedness）を、特にノイズレス補間領域におけるガウス過程回帰において調査すること。
• MLEが訓練データの微小な摂動に対して安定な予測を生じるかどうかを特定すること。
• MLEが適切でない状況となる厳密な理論的条件を確立し、標準的な実践におけるロバストネスの仮定に疑問を呈すること。
• 安全性が求められる応用分野で使用されるガウス過程モデルにおけるMLEの信頼性を理解するための形式的基盤を提供すること。

提案手法

• 著者らは、訓練データの摂動に対する予測分布のヘルミート連続性を分析し、ヘルミート距離を測度として用いる。
• データが固定関数 f によって生成されるノイズレスの場合を想定し、共分散カーネルはステーションナリィで、長さスケールパラメータは推定される。
• 理論的分析は、MLE目的関数 ℓ(θ|Y) = YₘᵀKθ⁻¹Yₘ + log det Kθ における逆共分散行列および行列式の性質に依拠する。
• Kθ⁻¹ および log det Kθ の挙動を、長さスケール λ→∞ のとき、特にクラメル型やバーデルモンド型の共分散行列構造を持つ場合に分析する。
• 証明は、逆共分散行列および行列式の漸近的解析に依拠しており、λ→∞ のとき、2次形式 YₘᵀKθ⁻¹Yₘ は有界のまま維持されるが、log det Kθ → -∞ に収束することを示している。
• 重要な技術的ツールとして、カーネルのフーリエ変換の性質と、Wronskian を用いて、漸近的状態における制限行列の非特異性を確立する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程回帰における最尤推定（MLE）が適切であるとは、すなわち、微小なデータ摂動に対して予測が安定する条件は何か？
• RQ2 長さスケールパラメータのMLEが、ヘルミート距離における訓練データに関して予測分布を連続にするとみなせるか？
• RQ3 MLEの不適切さは、ノイズレス補間領域におけるステーションナリィカーネルの一般的な特徴であるか？
• RQ4 二乗指数関数型やMatérnカーネルなどの一般的なカーネル族に対し、MLEの不適切さを厳密に確立できるか？

主な発見

• 任意のステーションナリィな共分散カーネルに対して、ノイズレス設定下でガウス過程回帰における最尤推定（MLE）は不適切である。
• 予測分布は、ヘルミート距離におけるデータに関してリプシッツ連続でないため、微小なデータ摂動が予測に全く大きな変化をもたらす可能性がある。
• 長さスケールパラメータ λ→∞ のとき、2次形式 YₘᵀKλ⁻¹Yₘ は有界のまま維持されるが、log det Kλ→-∞ に収束し、MLE目的関数に不安定性をもたらす。
• Yₘ が定数（例：Yₘ = (c,…,c)）である場合、2次形式の極限は存在し有限であるが、行列式項が支配的となり、目的関数が -∞ に収束する。
• カーネルの導関数のWronskianが非特異であり、カーネルのフーリエ変換が正であれば、漸近的行列は逆行列をもち、極限は適切に定義される。
• 不適切さは、数値的不安定性によるものではなく、ノイズレス領域におけるMLE目的関数の根本的性質に起因するため、安全性が求められる応用分野における使用を疑問視すべきである。