[論文レビュー] Adaptive dimension reduction with a Gaussian process prior

Anirban Bhattacharya, Debdeep Pati+1 more|arXiv (Cornell University)|Nov 4, 2011

Statistical Methods and Inference被引用数 8

ひとこと要約

本稿では、次元別スケーリングおよび階層的ハイパーパriorsを備えたガウス過程事前分布を用いたベイジアンノンパrametric回帰手法を提案する。この手法は、重要でない予測子を自動で特定し、滑らかさを調整することで、一様なバンド幅をもつ均質なガウス過程よりも優れた性能を発揮し、最小最大最適な事後収縮レート（対数要因を除いて）を達成する。

ABSTRACT

In nonparametric regression problems involving multiple predictors, there is typically interest in estimating an anisotropic multivariate regression surface in the important predictors while discarding the unimportant ones. Our focus is on defining a Bayesian procedure that leads to the minimax optimal rate of posterior contraction (up to a log factor) adapting to the unknown dimension and anisotropic smoothness of the true surface. We propose such an approach based on a Gaussian process prior with dimension-specific scalings, which are assigned carefully-chosen hyperpriors. We additionally show that using a homogenous Gaussian process with a single bandwidth leads to a sub-optimal rate in anisotropic cases.

研究の動機と目的

• 未知の次元性および非等方的滑らかさに適応するベイジアン手順の開発。
• 予測子間の滑らかさの不均一性が生じる高次元回帰において、最小最大最適な事後収縮レートの達成。
• 一様なバンド幅をもつ均質なガウス過程の限界を是正する。これは非等方的設定では部分最適なレートをもたらす。
• 重要予測子の自動検出と次元間の不均一な滑らかさへの適応を可能にする、次元別スケーリングおよびハイパーパriorsを備えた事前分布構造の設計。

提案手法

• 各予測子次元に対して別個のスケーリングパラメータを備えたガウス過程事前分布を構築し、非等方的滑らかさを捉える。
• 次元別スケーリングパラメータにハイパーパriorsを割り当てることで、真の次元や滑らかさの知識がなくても自動適応が可能になる。
• 重要な予測子は維持しつつ、不必要な予測子はゼロ方向に収縮を促す階層的事前分布構造を採用する。
• 理論的ツールとして、経験過程論およびガウス過程事後分布濃縮理論を用いて、事後収縮レートを分析する。
• 一様なバンド幅をもつ均質なガウス過程と対比し、非等方的状況では部分最適なレートを示すことが示されている。

実験結果

リサーチクエスチョン

• RQ1 未知の次元および非等方的滑らかさをもつ非パラメトリック回帰において、ベイジアンノンパラメトリック手法が最小最大最適な事後収縮レートを達成できるか。
• RQ2 非等方的設定において、一様なバンド幅をもつ均質なガウス過程と次元別スケーリングアプローチの性能はどのように異なるか。
• RQ3 どのような事前分布構造が、重要予測子の自動検出および次元間の不均一な滑らかさへの適応を可能にするか。
• RQ4 次元別スケーリングおよび階層的ハイパーパriorsは、標準的な事前分布と比較して、事後濃縮をどの程度改善するか。

主な発見

• 提案手法は、真の回帰表面の次元が未知で非等方的滑らかさをもつ場合でも、対数要因を除いて最小最大最適な事後収縮レートを達成する。
• 一様なバンド幅をもつ均質なガウス過程を用いる場合、非等方的状況では部分最適な事後収縮レートが得られる。
• 階層的ハイパーパriorsを備えた次元別スケーリング構造により、関連する予測子の自動検出と異なる滑らかさレベルへの適応が可能になる。
• 理論的分析により、調整パrameterを必要とせず、未知の滑らかさおよび次元性に適応できることを確認した。