[論文レビュー] Regularity dependence of the rate of convergence of the learning curve for Gaussian process regression

Loïc Le Gratiet, Josselin Garnier|arXiv (Cornell University)|Oct 10, 2012

Gaussian Processes and Bayesian Inference参考文献 21被引用数 3

ひとこと要約

本稿は、観測ノイズが存在する状況下におけるガウス過程回帰の漸近的平均二乗誤差（MSE）について、一般化された定理を確立し、任意の次元および広範な相関カーネルのクラスに対して学習曲線の収束速度を導出する。主な貢献は、カーネルの固有値および固有関数を用いて一般化誤差の閉形式表現を提供することであり、これによりノイズを伴う実験設計における最適なリソース配分が可能になる。

ABSTRACT

This paper deals with the speed of convergence of the learning curve in a Gaussian process regression framework. The learning curve describes the average generalization error of the Gaussian process used for the regression. More specifically, it is defined in this paper as the integral of the mean squared error over the input parameter space with respect to the probability measure of the input parameters. The main result is the proof of a theorem giving the mean squared error in function of the number of observations for a large class of kernels and for any dimension when the number of observations is large. From this result, we can deduce the asymptotic behavior of the generalization error. The presented proof generalizes previous ones that were limited to more specific kernels or to small dimensions (one or two). The result can be used to build an optimal strategy for resources allocation. This strategy is applied successfully to a nuclear safety problem.

研究の動機と目的

• 観測数が非常に大きい場合のガウス過程回帰における一般化誤差の漸近的挙動を導出すること。
• 従来の結果（1次元または2次元に限定され、特定のカーネル（例：Sacks-Ylvisaker）に限られる）を、任意の次元および広範な相関カーネルのクラスに一般化すること。
• ノイズのある観測下における最良線形不偏予測子（BLUP）の収束速度の理論的基盤を提供すること。
• 特にノイズ分散が入力空間全体で非一様である場合に、固定予算下での実験リソース（観測数および繰り返し回数）の最適配分戦略を構築すること。
• 既知の滑らかさおよびカーネル構造を持つ合成例を用いて理論的収束速度を数値的に検証し、実世界の核安全問題にこのフレームワークを適用すること。

提案手法

• 共分散カーネルのスペクトル分解を用いて、ガウス過程予測子の漸近的平均二乗誤差（MSE）を導出し、誤差を固有値および固有関数で表現する。
• 経験的共分散行列に対する確率的解析を適用し、予測子の分散がカーネルの固有構造を含む極限に確率的に収束することを証明する。
• ウッドベリー＝シェルマン＝モリソンの補題を間接的に用い、無限次元設定における逆共分散行列の極限を固有値の減衰率に着目して分析する。
• 固有値の尾部和をバインドし、マルコフの不等式を用いて高次元における固有関数展開の誤差を制御することで、学習曲線の収束を確立する。
• 固定予算下で漸近的MSEを最小化するように、観測数と繰り返し回数の最適配分戦略を導出する。この際、ノイズ分散が繰り返し回数の逆数に比例すると仮定する。
• 既知の滑らかさおよびカーネル構造を持つ合成例を用いて、理論的収束速度を数値的に検証する。

実験結果

リサーチクエスチョン

• RQ1 観測数が無限大に近づくとき、ガウス過程回帰における一般化誤差の漸近的収束速度は何か？
• RQ2 収束速度は、元の関数の滑らかさ（正則性）および相関カーネルの選択にどのように依存するか？
• RQ3 1次元／2次元のケースに限定されない、非退化カーネルおよび任意の次元において、学習曲線を正確に近似できるか？
• RQ4 固定予算下で一般化誤差を最小化するための実験リソース（観測数および繰り返し回数）の最適配分は何か？
• RQ5 理論的収束速度は、例えば核安全分析のような高価なシミュレーションや実験設定において意思決定をどのように支援できるか？

主な発見

• ガウス過程予測子の漸近的平均二乗誤差は、カーネルの固有値および固有関数の和として表される極限に収束する：$\sum_{p \geq 0} \left(\lambda_p - \frac{\lambda_p^2}{\tau + \lambda_p}\right)\phi_p(x)^2 - \sum_{p > p^*} \lambda_p^2 \frac{(\lambda_p / \tau)^{2q+1}}{\tau + \lambda_p} \phi_p(x)^2$。
• 極限分散の上界は $\sum_{p \geq 0} \frac{\tau \lambda_p}{\tau + \lambda_p} \phi_p(x)^2$ であり、この不等式は $\lambda_{p^*} < \tau$ の条件下で成り立つ。
• 学習曲線の収束速度は、カーネルの固有値 $\lambda_p$ の減衰率に依存し、滑らかな関数（速い減衰）では収束が速くなる。
• 固有値解析から導出された理論的収束速度は、学術的テストケースにおける数値観測結果と一致し、漸近的近似の妥当性が検証された。
• ノイズ分散が入力空間全体で非一様である状況においても、観測数とノイズレベルのバランスを最適化することで一般化誤差を最小化するリソース配分戦略が導出された。
• 本フレームワークは、高価な評価を伴う確率的シミュレータを用いた核安全問題に成功裏に適用され、実世界の高リスク応用における実用的有用性が示された。