[論文レビュー] Consistency of Empirical Bayes And Kernel Flow For Hierarchical Parameter Estimation

Yifan Chen, Houman Owhadi+1 more|arXiv (Cornell University)|May 22, 2020

Gaussian Processes and Bayesian Inference参考文献 41被引用数 4

ひとこと要約

本稿は、ガウス過程回帰における階層的パラメータ推定において、経験ベイズ（EB）とカーネルフロー（KF）の一貫性を確立し、大標本極限においてEBが真の正則化パラメータ $ s $ に収束すること、KFが $ \frac{s - d/2}{2} $ に収束することを証明する。主な貢献は、モデル不適合下でのimplicit biasとロバストネスの理論的分析であり、数値実験により、EBが適合した状況では低い分散を示す一方で、不適合状況ではKFが優れた性能を示すことが示された。

ABSTRACT

Gaussian process regression has proven very powerful in statistics, machine learning and inverse problems. A crucial aspect of the success of this methodology, in a wide range of applications to complex and real-world problems, is hierarchical modeling and learning of hyperparameters. The purpose of this paper is to study two paradigms of learning hierarchical parameters: one is from the probabilistic Bayesian perspective, in particular, the empirical Bayes approach that has been largely used in Bayesian statistics; the other is from the deterministic and approximation theoretic view, and in particular the kernel flow algorithm that was proposed recently in the machine learning literature. Analysis of their consistency in the large data limit, as well as explicit identification of their implicit bias in parameter learning, are established in this paper for a Matérn-like model on the torus. A particular technical challenge we overcome is the learning of the regularity parameter in the Matérn-like field, for which consistency results have been very scarce in the spatial statistics literature. Moreover, we conduct extensive numerical experiments beyond the Matérn-like model, comparing the two algorithms further. These experiments demonstrate learning of other hierarchical parameters, such as amplitude and lengthscale; they also illustrate the setting of model misspecification in which the kernel flow approach could show superior performance to the more traditional empirical Bayes approach.

研究の動機と目的

• ガウス過程の階層的パラメータ推定における経験ベイズ（EB）とカーネルフロー（KF）の一致性およびimplicit biasを分析すること。
• トーラス上でのMatérn型モデルにおける正則化パラメータの理論的収束を、EBおよびKF推定子に関して確立すること。
• 特に正則化パラメータと不連続点の位置の回復において、モデル不適合下でのEBとKFのロバストネスを比較すること。
• 数値実験を通じて、Matérn型モデルを超えて、振幅、スケール長、変数係数楕円型作用素の分析を拡張すること。
• フーリエ級数に基づく理論的枠組みを提供し、適合・不適合状況における正則化パラメータ学習に応用すること。

提案手法

• トーラス上でのMatérn型カーネルをフーリエ級数表現を用いて分析し、正則化パラメータ $ s $ を解析する。
• 階層的ガウス過程事前分布の下で周辺尤度を最大化することで経験ベイズを適用する。
• 観測関数と予測関数の間の $ L^2 $ 誤差を最小化する決定的で近似理論的な手法としてカーネルフローを用いる。
• 大標本極限解析を用いて一貫性結果を導出し、EBおよびKF推定子の確率的収束を証明する。
• カーネルのスペクトル的性質と誘導される正則化を分析するためのフーリエベースのツールキットを導入する。
• 適合・不適合モデルにおける数値実験を実施し、振幅、スケール長、不連続点パラメータの回復性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Matérn型モデルにおいて、経験ベイズ推定子は大標本極限で真の正則化パラメータ $ s $ を一貫して回復できるか？
• RQ2 カーネルフロー推定子は真の正則化に関連するパラメータを一貫して回復できるか？ もしそうなら、その極限値は何か？
• RQ3 EBとKFのimplicit biasは正則化パラメータの観点でどのように異なり、それぞれの収束行動の違いを引き起こす要因は何か？
• RQ4 真のプロセスが仮定されたカーネル形式と一致しない場合、特に不連続点検出においてEBとKFはどのように性能を発揮するか？
• RQ5 フーリエ解析に基づく理論的枠組みは、振幅やスケール長といった複数のハイパーパrameterの回復に拡張可能か？

主な発見

• Matérn型モデルにおいて、経験ベイズ推定子は大標本極限で真の正則化パラメータ $ s $ に確率的に収束する。
• カーネルフロー推定子は確率的に $ \frac{s - d/2}{2} $ に収束する。これは $ L^2 $-誤差における高速収束率を達成する最小のパラメータに相当する。
• 適合したモデルでは、EBはKFに比べて正則化推定において低い分散を示し、事前分布が正しく指定された場合の統計的効率性が優れている。
• 特に不連続点検出においてモデル不適合が生じる状況では、カーネルフローが経験ベイズを上回り、誤ったモデル仮定に対してより高いロバストネスを示す。
• フーリエ級数ツールキットを用いることで、正則化パラメータの厳密な解析が可能となり、Matérn型モデルにおけるEBによる振幅回復の一貫性が証明された。
• 数値実験により、両手法とも適合状況では振幅、スケール長、不連続点位置を効果的に回復できるが、EBが失敗する不適合状況においてもKFは性能を維持することが確認された。