[論文レビュー] Dimension adaptability of Gaussian process models with variable selection and projection

Surya T. Tokdar|arXiv (Cornell University)|Dec 4, 2011

Gaussian Processes and Bayesian Inference参考文献 33被引用数 10

ひとこと要約

本稿では、スケーリング、変数選択、線形射影を施したガウス過程モデルが、非パラメトリック回帰、分類、密度推定、密度回帰において、対数要因を除いて最適な事後分布収束速度を達成することを示している。主な貢献は、真の関数の真の低次元部分空間に事前に知識がなくても、それを特定して射影することで、自発的により速い収束を達成できることであり、真の関数の内因的次元に対する最適レートに一致する。

ABSTRACT

It is now known that an extended Gaussian process model equipped with rescaling can adapt to different smoothness levels of a function valued parameter in many nonparametric Bayesian analyses, offering a posterior convergence rate that is optimal (up to logarithmic factors) for the smoothness class the true function belongs to. This optimal rate also depends on the dimension of the function's domain and one could potentially obtain a faster rate of convergence by casting the analysis in a lower dimensional subspace that does not amount to any loss of information about the true function. In general such a subspace is not known a priori but can be explored by equipping the model with variable selection or linear projection. We demonstrate that for nonparametric regression, classification, density estimation and density regression, a rescaled Gaussian process model equipped with variable selection or linear projection offers a posterior convergence rate that is optimal (up to logarithmic factors) for the lowest dimension in which the analysis could be cast without any loss of information about the true function. Theoretical exploration of such dimension reduction features appears novel for Bayesian nonparametric models with or without Gaussian processes.

研究の動機と目的

• 変数選択または線形射影を施したガウス過程モデルが、データの真の低次元構造を活用することで、より速い事後分布収束速度を達成できるかどうかを調査すること。
• 事後一貫性を越えて、ベイジアン非パラメトリックモデルにおける次元適応性の理論的保証を確立すること。
• 真の関数が入力変数の部分集合または射影にのみ依存するような状況において、スケーリングされたガウス過程の既知の最適収束速度を拡張すること。
• このようなモデルが、入力変数の選択または射影によって有効次元が低減された非パラメトリック回帰、分類、密度推定、密度回帰において、ほぼミニマックス最適なレートを達成することを示すこと。

提案手法

• スケーリングされた平方指数ガウス過程事前分布に確率的スケーリングパラメータを導入し、未知の滑らかさレベルに適応可能にする。
• 変数選択は、入力座標の部分集合でのみガウス過程事前分布が作用するようにし、選択をバイナリインジケーターベクトルでモデル化する。
• 線形射影は、入力空間に直交変換を適用することで実装され、真の関数が存在する内因的次元部分空間への次元削減が行われる。
• 理論的分析では、ヴァン・デル・ヴァートとヴァン・ザントン（2009）の後件集中条件（5）〜（7）を、射影または選択された空間に適応させることを目的としたシーブとテスト集合を構築する。
• 証明技法は、ヴァン・デル・ヴァートとヴァン・ザントン（2009）の結果を拡張し、低次元構造を事前分布および事後集中分析に組み込む。
• 収束の尺度は、条件付き密度におけるヘルミート型距離によって定義され、条件を事後集中にマッピングする技術的道具として測度 $ G_x $ が用いられる。

実験結果

リサーチクエスチョン

• RQ1 真の関数が $ d_1 \leq d $ 個の入力座標にのみ依存する場合、変数選択を施したスケーリングされたガウス過程モデルが、最適レート $ n^{-\alpha/(2\alpha + d_1)}(\log n)^k $ で事後分布収束するか。
• RQ2 線形射影に基づくGPモデルが、真の関数が入力のランク $ d_0 $ の線形射影にのみ依存する場合、最適レート $ n^{-\alpha/(2\alpha + d_0)}(\log n)^k $ を達成するか。
• RQ3 事後一貫性を超えて、変数選択または射影による次元削減が、より速い事後分布収束の理論的利点をもたらすか。
• RQ4 入力が低次元部分空間に射影された場合、密度回帰における事後集中レートはどのように振る舞うか。

主な発見

• 変数選択を施したGPモデルの事後分布収束速度は、真の内因的次元 $ d_1 $ であっても、事前に $ d_1 $ が未知であっても、最適レート $ n^{-\alpha/(2\alpha + d_1)}(\log n)^k $ に一致する。
• 線形射影の場合、真の関数が入力の $ d_0 $ 次元線形射影にのみ依存する場合、モデルは最適レート $ n^{-\alpha/(2\alpha + d_0)}(\log n)^k $ を達成する。ここで $ d_0 $ はそのような最小次元である。
• 理論的枠組みにより、このような次元適応性が、真の部分空間を事前に知らない状況においても、高次元入力空間における標準的GPモデルに比べてより速い収束をもたらすことが確認された。
• 結果は非パラメトリック回帰、分類、密度推定、密度回帰の複数のモデルにわたって成り立つことから、広範な適用可能性が示された。
• $ G_x $-加重ヘルミート距離を技術的道具として用いることで、回帰の目的の解釈可能性が保たれ、$ G_x $-ベースの距離での収束が絶対連続性のもとで $ G^*_x $-ベースの距離での収束を意味する。
• 本稿では、収束レートにおける対数要因は次元削減によって改善されないが、$ d_0 \ll d $ の場合、$ n^{-\alpha/(2\alpha + d_0)} $ の主要項が全次元レートよりも著しく速くなることが示された。