[論文レビュー] A Theoretical Framework for Bayesian Nonparametric Regression: Orthonormal Random Series and Rates of Contraction

Fangzheng Xie, Wei Jin+1 more|arXiv (Cornell University)|Dec 15, 2017

Gaussian Processes and Bayesian Inference参考文献 42被引用数 3

ひとこと要約

この論文は、関数空間の一様有界性を仮定しない統合$L_2$-距離における収縮率の導出を可能にする、正規直交確率的級数を用いたベイジアン非パラメトリック回帰枠組みを提案する。一般定理を確立し、解析関数上での平方指数ガウス過程に対して近パラメトリックな収縮率、スieve事前分布に対して適応的収縮率、 Hölder滑らかさ関数上での変更なしブロック事前分布に対して適応的かつ正確な収縮率を導出する。

ABSTRACT

We develop a unifying framework for Bayesian nonparametric regression to study the rates of contraction with respect to the integrated $L_2$-distance without assuming the regression function space to be uniformly bounded. The framework is built upon orthonormal random series in a flexible manner. A general theorem for deriving rates of contraction for Bayesian nonparametric regression is provided under the proposed framework. As specific applications, we obtain the near-parametric rate of contraction for the squared-exponential Gaussian process when the true function is analytic, the adaptive rates of contraction for the sieve prior, and the adaptive-and-exact rates of contraction for the un-modified block prior when the true function is {\alpha}-smooth. Extensions to wavelet series priors and fixed-design regression problems are also discussed.

研究の動機と目的

• 一様有界関数空間の制限的仮定を回避する、ベイジアン非パラメトリック回帰の統一的理論的枠組みの構築を目的とする。
• 統合$L_2$-距離に関して後件収縮率が導出可能な一般的条件の確立を目的とする。
• ガウス過程、スieve事前分布、ブロック事前分布などの特定の事前分布にこの枠組みを適用し、鋭い収縮率を導出することを目的とする。
• ウェーブレット級数事前分布および固定設計回帰設定への枠組みの拡張を目的とする。
• 滑らかさの仮定を最小限に抑えつつ、滑らかな関数に対して適応的かつ正確な収縮率を達成することを目的とする。

提案手法

• 関数の柔軟な表現を可能にする正規直交確率的級数展開に基づく枠組みを構築する。
• 真の関数まわりの後件集中を$L_2$-距離の観点から制限する一般定理を導出する。
• 正規直交基底の構造と級数係数の尾確率バウンドを活用することで、一様有界性を回避する。
• メトリックエントロピーと検定のアプローチを正規直交級数設定に適応し、収縮率を分析する。
• 対応する係数事前分布とそのエントロピー特性を特定することで、特定の事前分布に枠組みを適用する。
• ウェーブレット級数と固定設計モデルへの拡張は、正規直交基底と設計固有のメトリックエントロピーのバウンドを適応することで達成する。

実験結果

リサーチクエスチョン

• RQ1 関数空間の一様有界性を仮定しないベイジアン非パラメトリック回帰において、後件収縮率が導出可能な条件は何か？
• RQ2 正規直交確率的級数表現は、一様有界性が欠如する状況下でどのように鋭い収縮率を導出可能にするか？
• RQ3 真の関数が解析的である場合、平方指数ガウス過程の収縮率はどのようになるか？
• RQ4 滑らかさの仮定の下で、この枠組みはスieve事前分布に対して適応的収縮率、ブロック事前分布に対して正確な収縮率を達成できるか？
• RQ5 この枠組みはウェーブレット級数事前分布および固定設計回帰問題にどのように拡張できるか？

主な発見

• 真の関数が解析的である場合、統合$L_2$-距離において平方指数ガウス過程に対して近パラメトリックな収縮率が達成される。
• スieve事前分布に対して、最適なレートまで対数要因を除き一致する適応的収縮率が確立される。
• 真の関数が$\alpha$-滑らかである場合、変更なしブロック事前分布は、調整なしに適応的かつ正確な収縮率を達成する。
• ウェーブレット級数事前分布への拡張が可能であり、同様の収縮率分析がその設定でも可能になる。
• 固定設計回帰にも適用可能であり、その文脈における収縮率分析の一般的手法を提供する。
• 一般定理により、有界性仮定なしに多様な非パラメトリック事前分布に対して収縮率を一括して導出する統一的ツールが提供される。