[論文レビュー] An analytic comparison of regularization methods for Gaussian Processes

Hossein Mohammadi, Rodolphe Le Riche+3 more|arXiv (Cornell University)|Feb 2, 2016

Advanced Multi-Objective Optimization AlgorithmsComputer Science参考文献 20被引用数 18

ひとこと要約

本稿は、ガウス過程（GPs）における疑似逆行列（PI）とヌゲット正則化の厳密な解析的比較を提供しており、PIが重複する点での応答を平均化し、分散をゼロに設定するのに対し、ヌゲット正則化は個々の値を保持することを示している。主な貢献は、正則化の選択をガイドするデータ-モデル乖離測度の導出に加え、点の値の代わりに分布を補間することで頑健性を向上させる新しい分布ワイズGPの提案である。

ABSTRACT

Gaussian Processes (GPs) are a popular approach to predict the output of a parameterized experiment. They have many applications in the field of Computer Experiments, in particular to perform sensitivity analysis, adaptive design of experiments and global optimization. Nearly all of the applications of GPs require the inversion of a covariance matrix that, in practice, is often ill-conditioned. Regularization methodologies are then employed with consequences on the GPs that need to be better understood.The two principal methods to deal with ill-conditioned covariance matrices are i) pseudoinverse and ii) adding a positive constant to the diagonal (the so-called nugget regularization).The first part of this paper provides an algebraic comparison of PI and nugget regularizations. Redundant points, responsible for covariance matrix singularity, are defined. It is proven that pseudoinverse regularization, contrarily to nugget regularization, averages the output values and makes the variance zero at redundant points. However, pseudoinverse and nugget regularizations become equivalent as the nugget value vanishes. A measure for data-model discrepancy is proposed which serves for choosing a regularization technique.In the second part of the paper, a distribution-wise GP is introduced that interpolates Gaussian distributions instead of data points. Distribution-wise GP can be seen as an improved regularization method for GPs.

研究の動機と目的

• 悪条件な共分散行列の取り扱いに向けたガウス過程における疑似逆行列（PI）とヌゲット正則化の解析的比較を行う。
• GP回帰における共分散行列の特異性を引き起こす重複点を定義し、特徴づける。
• PIとヌゲット正則化の間の選択をガイドするためのデータ-モデル乖離測度を定義・特徴付ける。
• 点観測の代わりに確率分布を補間する分布ワイズGPフレームワークを提案し、正則化の頑健性を向上させる。
• ヌゲット値がゼロに近づく極限において、PIとヌゲット正則化が理論的に同等であることを確立する。

提案手法

• 共分散行列 C の固有値分解を用いて、PIおよびヌゲット正則化が解空間に与える影響を分析する。
• 入力座標が同一の点を重複点として定義し、これにより共分散行列に固有値がゼロとなることを示す。
• C の固有分解を用いて、両正則化スキーム下でのGP回帰の尤度関数を導出する。
• 元の応答データと平均化された応答データの間の対数尤度差を測定する、Δ(τ²) という乖離測度を導入する。
• 繰り返し応答の経験的分布を点観測の代わりに用いる、分布ワイズGPモデルを提案する。
• 重複点における応答分散を増加させた場合、ヌゲット τ² の最尤推定値が非減少であることを示し、乖離測度の単調性を証明する。

実験結果

リサーチクエスチョン

• RQ1 疑似逆行列とヌゲット正則化は、ガウス過程回帰における重複データ点をどのように処理するか、その違いは何か？
• RQ2 疑似逆行列とヌゲット正則化の理論的関係は何か？また、どのような条件下でこれらは同等となるか？
• RQ3 PIとヌゲット正則化の間の客観的選択を可能にするデータ-モデル乖離測度を導出できるか？
• RQ4 繰り返し観測が存在する状況において、分布ワイズGPモデルは標準的なGP正則化に比べてどのように改善されるか？
• RQ5 重複点における分散を増加させると、最尤推定におけるヌゲット値の推定値は大きくなるか？

主な発見

• 疑似逆行列正則化は重複点における応答値を平均化し、その地点でのクリギング分散をゼロに設定するが、ヌゲット正則化は個々の値を保持する。
• ヌゲット値 τ² がゼロに近づく極限において、疑似逆行列とヌゲット正則化は予測平均および分散において漸近的に同等である。
• データ-モデル乖離測度 Δ(τ²) は単調に減少し、元の応答データと平均化された応答データの間の対数尤度差を測定する。
• 重複点における応答分散を増加させた場合、ヌゲット τ² の最尤推定値は小さくならない。さらに、分散の増加が正であれば、厳密に大きくなる。
• 繰り返し点における応答の分布を補間する分布ワイズGPモデルは、標準的な点ベースGPに比べてより頑健な正則化フレームワークを提供する。
• 理論的分析により、尤度に基づく τ² 選択が重複点における観測された変動性と整合的であることが確認され、乖離測度が意思決定基準として妥当であることが検証された。