[論文レビュー] Bayesian Manifold Regression

Yun Yang, David B. Dunson|arXiv (Cornell University)|May 3, 2013

Gaussian Processes and Bayesian Inference参考文献 31被引用数 5

ひとこと要約

本稿では、高次元予測子の多様体構造を明示的に推定せずに、その内在的次元に適応した共分散構造を持つガウス過程の事前分布を回帰関数に直接適用することで、高次元設定における非パラメトリック回帰を計算的に実行可能かつ理論的に裏付けられた方法で実現するベイジアン非パrametric回帰手法を提案する。弱い正則性条件の下で、最小最大最適な事後分布収縮率を達成でき、低次元の内在的次元を有する高次元データにおいて、効率的かつ理論的根拠を持つ非パラメトリック回帰が可能になる。

ABSTRACT

There is increasing interest in the problem of nonparametric regression with high-dimensional predictors. When the number of predictors $D$ is large, one encounters a daunting problem in attempting to estimate a $D$-dimensional surface based on limited data. Fortunately, in many applications, the support of the data is concentrated on a $d$-dimensional subspace with $d \ll D$. Manifold learning attempts to estimate this subspace. Our focus is on developing computationally tractable and theoretically supported Bayesian nonparametric regression methods in this context. When the subspace corresponds to a locally-Euclidean compact Riemannian manifold, we show that a Gaussian process regression approach can be applied that leads to the minimax optimal adaptive rate in estimating the regression function under some conditions. The proposed model bypasses the need to estimate the manifold, and can be implemented using standard algorithms for posterior computation in Gaussian processes. Finite sample performance is illustrated in an example data analysis.

研究の動機と目的

• 高次元予測子に低次元の内在的次元性を有する場合に、計算的に実行可能かつ理論的に正当化されたベイジアン非パラメトリック回帰手法を開発すること。
• データが低次元多様体に近接している場合に、高次元回帰関数を推定する課題に対処すること。
• 未知の多様体構造下で、回帰関数の最小最大最適な適応的事後収縮レートを達成すること。
• 明示的な多様体推定を回避しつつも、データの幾何的構造を活用すること。
• スケーラブルであり、不確実性を定量化する手法を維持しながら、高次元非パラメトリック回帰において理論的保証を保つこと。

提案手法

• 本手法は、データ多様体の内在的次元に適応した平方指数共分散関数を有するガウス過程の事前分布を採用する。
• データのサポートが局所的にユークリッド空間に似たコンactなリーマン多様体 $ d \ll D $ 上にあると仮定し、その幾何構造を暗黙的に尊重する事前分布を構築する。
• 多様体の幾何的性質を共分散関数に直接埋め込むことで、明示的な多様体推定を回避し、多様体の局所的性質を活用する。
• 事後分布の計算は標準的なガウス過程アルゴリズムを用いるため、計算的実行可能性が保証される。
• 理論的分析は、被覆エントロピーの境界と事前濃度不等式に依拠し、事後収縮レートを導出する。
• 未知の滑らかさと内在的次元 $ d $ に適応でき、正則性条件の下で最適なレートを達成する。

実験結果

リサーチクエスチョン

• RQ1 明示的な低次元多様体の推定を伴わずに、ベイジアン非パラメトリック回帰手法が最小最大最適な事後収縮レートを達成できるか。
• RQ2 高次元設定において、回帰関数の内在的次元 $ d $ と滑らかさ $ s $ に適応するガウス過程の事前分布をどのように構築できるか。
• RQ3 多様体上でのGPベースの回帰が最適な適応的レートを達成する理論的条件は何か。
• RQ4 明示的な多様体学習を回避しつつも、計算効率と不確実性の定量化を維持できるか。
• RQ5 多様体の内在的次元 $ d $ と関数の滑らかさ $ s $ が、事後収縮レートに与える影響は何か。

主な発見

• 提案手法は、真の回帰関数が H\
• 本手法は、内在的次元 $ d $ と滑らかさ $ s $ の両方に最適に適応でき、$ d $ が未知であっても同様に最適なレートを達成する。
• データが $ d $ 次元のコンパクトなリーマン多様体上にあると仮定した場合、事後収縮レートは非パラメトリック回帰の最小最大下界と一致する。
• 明示的な多様体推定を回避し、共分散構造が多様体幾何を暗黙的に符号化するガウス過程の事前分布に依存する。
• 被覆エントロピーの境界と事前濃度不等式を用いた理論的保証により、事後分布が最適なレートで収縮することが示された。
• シミュレーションにおける有限サンプル性能は、特に低次元の内在的次元性を有する高次元設定において、他の手法と比較して優れた実証的性能を示している。