[論文レビュー] Convergence Guarantees for Gaussian Process Means With Misspecified Likelihoods and Smoothness

George Wynne, François‐Xavier Briol+1 more|arXiv (Cornell University)|Jan 29, 2020

Gaussian Processes and Bayesian Inference参考文献 99被引用数 12

ひとこと要約

本稿は、尤度や滑らかさの仮定が誤っている場合のガウス過程回帰における収束保証を提供する。特に、実験設計とカーネルハイパーパrameterを調整することで収束速度の劣化を緩和できることを示しており、散乱データ近似理論と再生核ヒルベルト空間理論を用いて理論的境界を導出している。

ABSTRACT

Gaussian processes are ubiquitous in machine learning, statistics, and applied mathematics. They provide a flexible modelling framework for approximating functions, whilst simultaneously quantifying uncertainty. However, this is only true when the model is well-specified, which is often not the case in practice. In this paper, we study the properties of Gaussian process means when the smoothness of the model and the likelihood function are misspecified. In this setting, an important theoretical question of practial relevance is how accurate the Gaussian process approximations will be given the difficulty of the problem, our model and the extent of the misspecification. The answer to this problem is particularly useful since it can inform our choice of model and experimental design. In particular, we describe how the experimental design and choice of kernel and kernel hyperparameters can be adapted to alleviate model misspecification.

研究の動機と目的

• ガウス過程回帰におけるモデル誤った仮定という実用的課題に取り組む。これは、尤度や滑らかさの仮定が真のデータ生成過程と一致しない場合を指す。
• 誤った仮定が非パラメトリック回帰におけるガウス過程平均の収束速度に与える影響を定量化すること。
• 誤った仮定下での近似誤差を最小化するための実験設計、カーネル、ハイパーパrameterの選択に関する理論的指針を提供すること。
• 尤度と滑らかさの両方の誤った仮定が与える影響を統合的かつ拡張的に分析することで、既存の収束結果を統一すること。
• ベイズ最適化、クリギング、不確実性の定量化などの応用分野におけるロバストなモデル設計を支援する境界を導出すること。

提案手法

• 散乱データ近似（SDA）理論を用いて、誤った仮定下でのGP平均の収束境界を導出する。
• 再生核ヒルベルト空間（RKHS）およびソボレフ空間の結果を応用し、滑らかさの不一致を特徴付ける。
• 埋め込み距離とカーネルハイパーパrameterを含むサンプリング不等式を導出し、近似誤差を制限する。
• 関数空間内での小さな球の対数的測度を制御するための再帰的不等式（式36）を導入し、尾確率の境界を可能にする。
• 収束保証に不可欠な小さな埋め込み距離を確保するため、準均一なサンプリング戦略を採用する。
• 事後分布の逆濃度関数に対する境界を導出し、これによりターゲット関数の滑らかさとカーネルハイパーパrameterとを関連付ける。

実験結果

リサーチクエスチョン

• RQ1 尤度と滑らかさの誤った仮定が、ガウス過程平均の収束速度にどのように同時に影響を与えるか？
• RQ2 実験設計とカーネルハイパーパrameterは、モデル誤った仮定の影響を緩和するために果たす役割は何か？
• RQ3 真の尤度が仮定されたものと異なる場合（例：非ガウスノイズだがガウス仮定）に、理論的収束境界を導出できるか？
• RQ4 ターゲット関数の滑らかさがGP事前分布のものと比較して低い場合、事後分布の集中速度にどのような影響を与えるか？
• RQ5 適応的設計とカーネル選択は、誤った仮定下でどれほどロバスト性を向上させられるか？

主な発見

• 本稿は、尤度と滑らかさの誤った仮定下でも、散乱データ近似技術を用いることで収束速度の境界を確立できることを示している。
• 真の関数が仮定されたものより滑らかさが低い場合（滑らかさの誤った仮定）、収束速度は劣化するが、適切なカーネルハイパーパラメータの選択によってこれを緩和できる。
• 事後分布の集中速度の境界は、カーネルの最小および最大滑らかさパラメータに依存し、$ \tau_{k}^{-} $ と $ \tau_{k}^{+} $ によって制御される。
• $ n \geq N $ の場合、逆濃度関数は $ \psi_{\theta_n,f}^{-1}(n) \leq C \max\left(n^{-\tau_f/(2\tau_k^+)}, n^{d/(4\tau_k^{-})-1/2}\right) $ を満たし、滑らかさとサンプルサイズのトレードオフが明確に示されている。
• サンプリング設計の埋め込み距離は収束を保証するために十分に小さくなければならない。準均一設計は、これを効率的に達成する。
• 理論的境界はモデル誤った仮定に対してロバストであり、実際の応用において適応的実験設計およびカーネル選択のフレームワークを提供する。