[論文レビュー] Frequentist coverage and sup-norm convergence rate in Gaussian process regression

Yun Yang, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Aug 16, 2017

Gaussian Processes and Bayesian Inference参考文献 38被引用数 36

ひとこと要約

本稿は、ランダム設計におけるガウス過程回帰におけるベイズ的信用区間および信用帯の頻度的被覆理論を確立し、過小平滑化された事前分布が、名目水準と1の間の非退化値に収束する被覆をもたらす保守的推論を示している。また、上限ノルムにおける新規なベルンシュタイン＝フォン・ミーゼス結果を用いて、ミニマックス最適な上限ノルムにおける事後分布収縮率を導出し、ガウス過程比較定理と事後分布の正則化M推定量近似によって検証している。

ABSTRACT

Gaussian process (GP) regression is a powerful interpolation technique due to its flexibility in capturing non-linearity. In this paper, we provide a general framework for understanding the frequentist coverage of point-wise and simultaneous Bayesian credible sets in GP regression. As an intermediate result, we develop a Bernstein von-Mises type result under supremum norm in random design GP regression. Identifying both the mean and covariance function of the posterior distribution of the Gaussian process as regularized $M$-estimators, we show that the sampling distribution of the posterior mean function and the centered posterior distribution can be respectively approximated by two population level GPs. By developing a comparison inequality between two GPs, we provide exact characterization of frequentist coverage probabilities of Bayesian point-wise credible intervals and simultaneous credible bands of the regression function. Our results show that inference based on GP regression tends to be conservative; when the prior is under-smoothed, the resulting credible intervals and bands have minimax-optimal sizes, with their frequentist coverage converging to a non-degenerate value between their nominal level and one. As a byproduct of our theory, we show that the GP regression also yields minimax-optimal posterior contraction rate relative to the supremum norm, which provides a positive evidence to the long standing problem on optimal supremum norm contraction rate in GP regression.

研究の動機と目的

• ランダム設計におけるガウス過程回帰におけるベイズ的信用集合の頻度的妥当性の理論的枠組みを確立すること。
• GP回帰における上限ノルムにおける最適事後分布収縮率の長年の未解決問題を解消すること。
• 誤指定または過小平滑化された事前分布下での点별および同時信用集合の被覆行動を特徴づけること。
• GP回帰における上限ノルムにおけるベルンシュタイン＝フォン・ミーゼス型結果を確立し、事後分布の挙動と正則化M推定量を結びつけること。
• ガウス過程比較定理を用いた頻度的被覆確率の正確な特徴づけと、事後分布の上限ノルム近似を提供すること。

提案手法

• 事後平均と中心化された事後分布を、2つの母集団レベルのガウス過程で近似することで、事後の頻度的分析を可能にする。
• 本稿は、事後平均と共分散を正則化M推定量として特定し、ベイズ的GP回帰と頻度的推定理論を結びつける。
• 関数と入力空間にインデックスされた確率過程の上限を制御するため、切り捨てられたテレスコピック和を用いたチェインジ・アーギュメントを用いる。
• 関数空間の被覆数は、ソボレフ型エントロピー条件を用いて有界され、メトリックエントロピーは関数クラスの正則性によって制御される。
• 部分指数的増分の下での精密な集中不等式を用い、チェインジとメトリックエントロピーの考察から境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ランダム設計におけるGP回帰の点別信用区間の頻度的被覆確率は何か？
• RQ2 真の関数に対して事前分布が過小平滑化された場合、同時信用帯の被覆はどのように振る舞うか？
• RQ3 GP回帰は上限ノルムにおけるミニマックス最適事後分布収縮率を達成するか？
• RQ4 ランダム設計設定下のGP回帰において、上限ノルムにおけるベルンシュタイン＝フォン・ミーゼス定理を確立できるか？
• RQ5 非パラメトリックGP回帰における、事前分布の滑らかさと漸近的被覆の関係は何か？

主な発見

• GP回帰における信用区間および信用帯は保守的である：事前分布が過小平滑化された場合、頻度的被覆確率は名目水準と1の間の非退化値に収束する。
• 上限ノルムにおける事後分布収縮率はミニマックス最適であり、GP回帰における長年の未解決問題を肯定的に解決している。
• 事後平均および中心化された事後分布の標本分布は、漸近的に2つの母集団レベルのガウス過程で近似可能であり、頻度的推論を可能にする。
• 上限ノルムにおけるベルンシュタイン＝フォン・ミーゼス型結果が成立し、適切な正則性条件下で、事後分布は真の関数を中心にミニマックスレートで集中する。
• 信用集合の被覆確率は、事前分布の滑らかさに強く依存する：滑らかさが一致する場合、漸近的に名目水準の被覆が達成されるが、過小平滑化された場合、最適なサイズで保守的被覆が得られる。
• 理論的に、上限ノルムにおける事後分布収縮率は、真の関数の正則性と事前分布の正則性の和で有界であり、標本サイズおよび設計密度に明示的な依存関係を示す。