[論文レビュー] Optimal Bayesian estimation in random covariate design with a rescaled Gaussian process prior

Debdeep Pati, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Nov 26, 2014

Gaussian Processes and Bayesian Inference参考文献 28被引用数 10

ひとこと要約

この論文は、未知の滑らかさの程度に応じて適切にスケーリングされた平方指数型カーネルを備えたスケーリングされたガウス過程事前分布を導入することで、確率的共変数設計下での非パラメトリック回帰におけるレート最適な事後分布集中を確立した。真の関数が解析的よりも滑らかさが低い場合でも、事前分布のスケーリングを適切に制御することにより、最小最大最適収束レート $n^{-\alpha/(2\alpha+d)}$ を対数要因を除いて達成でき、従来のベイズ非パラメトリック理論における主要な制限を克服した。

ABSTRACT

In Bayesian nonparametric models, Gaussian processes provide a popular prior choice for regression function estimation. Existing literature on the theoretical investigation of the resulting posterior distribution almost exclusively assume a fixed design for covariates. The only random design result we are aware of (van der Vaart & van Zanten, 2011) assumes the assigned Gaussian process to be supported on the smoothness class specified by the true function with probability one. This is a fairly restrictive assumption as it essentially rules out the Gaussian process prior with a squared exponential kernel when modeling rougher functions. In this article, we show that an appropriate rescaling of the above Gaussian process leads to a rate-optimal posterior distribution even when the covariates are independently realized from a known density on a compact set. The proofs are based on deriving sharp concentration inequalities for frequentist kernel estimators; the results might be of independent interest.

研究の動機と目的

• ベイズ非パラメトリック回帰における確率的共変数設計下でのガウス過程事前分布に対する理論的保証の欠如に対処すること。
• 従来の研究で仮定されていた、真の関数が事前分布が支持する滑らかさクラスに確率1で属する必要があるという制限的仮定を克服すること。
• 真の関数の滑らかさが有限で $\alpha > 1/2$ の場合に、平方指数型カーネルを用いても事後分布のレート最適性を確立すること。
• 確率的設計設定下での統合 $L_1(q)$ 損失における事後分布集中の理論的枠組みを構築すること。

提案手法

• 未知の滑らかさ $\alpha$ と標本サイズ $n$ に依存する列 $a_n$ によってサンプルパスがスケーリングされるスケーリングされたガウス過程事前分布を導入する。
• 真の関数と $\epsilon_n$ の近傍内にある代替関数を区別するためのテスト関数 $\Phi_n = \mathbf{1}(\|\tilde{f}_n - f_0\|_1 > M\epsilon_n/2)$ を用いる。
• 統計的カーネル推定量の濃度不等式を用いて、統合 $L_1(q)$ 距離における事後の挙動を制御する。
• タラグランドの不等式を適用して、テスト関数構築における分散項の上限を設定し、事後分布集中に必要な尾部バウンドを保証する。
• スケーリングされた事前分布および設計密度 $q$ の性質を用いて、(PCS)、(BT)、(DT)、(BS)、(DS)、(PCN) といった主要な条件を満たすことで、事後分布集中を確立する。
• 尤度比と事前分布の集中性を用いて、真の関数の近傍の補集合における事後確率の上限を評価することで、事後収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 標準的な平方指数型カーネルを備えたガウス過程事前分布は、確率的共変数設計下での非パラメトリック回帰において、レート最適な事後分布集中を達成できるか？
• RQ2 真の関数の滑らかさが有限で $\alpha > 1/2$ の場合に、最小最大最適レート $n^{-\alpha/(2\alpha+d)}$ を達成するためには、事前分布のスケーリングにどのような条件が必要か？
• RQ3 統合 $L_1(q)$ 距離における事後分布集中は、標本外予測においてより関連性の高い $L_2$ ノルムとは異なり、どのように確立できるか？
• RQ4 事前分布が真の滑らかさクラスに確率1を割り当てることを要件としないで、最適な事後レートを達成することは可能か？

主な発見

• 確率的設計下での統合 $L_1(q)$ 距離において、事後分布は対数要因を除いて最小最大最適レート $n^{-\alpha/(2\alpha+d)}$ を達成する。
• $n$ と $\alpha$ に依存するスケーリングパラメータ $a_n$ を備えたスケーリングされたガウス過程事前分布は、標準的な事前分布が失敗するような $\alpha$-滑らかさ関数に対しても、レート最適性を実現可能である。
• ヴァン・デル・ヴァートとヴァン・ツァンテン（2011）の制限的仮定、すなわち事前分布が真の滑らかさクラスに確率1を割り当てる必要があるという仮定を回避でき、滑らかさの低い関数に対して平方指数型カーネルの使用が可能になる。
• 証明は、統計的カーネル推定量の鋭い濃度不等式に依存しており、主結果を超えて独立に興味深い結果を提供する。
• テスト関数と尤度比の議論を用いて事後分布集中を確立し、タラグランドの不等式および事前分布の集中性の性質を用いて境界を導出する。
• $L_1(q)$ 損失下で最適なレートを達成でき、これは固定設計設定で用いられる標本 $L_2$ ノルムとは異なり、確率的設計下での予測性能にとってより適切である。