[論文レビュー] Adaptive Supremum Norm Posterior Contraction: Wavelet Spike-and-Slab and Anisotropic Besov Spaces

William Weimin Yoo, Vincent Rivoirard+1 more|arXiv (Cornell University)|Aug 6, 2017

Statistical Methods and Inference参考文献 21被引用数 11

ひとこと要約

本稿では、多変量設定における適応的非パラメトリック回帰のためのウェーブレットスパイクアンドスラブベイズ的手法を提案し、回帰関数およびその混合偏導関数の両方について、最適な essentially norm 後部収縮率を達成する。著者らは、回帰モデルを新しい翻訳技術により準白色雑音モデルに還元することで、$L_\infty$ 損失下での非等方的Besov空間において、適応的かつ最適な収縮率を確立する。

ABSTRACT

Supremum norm loss is intuitively more meaningful to quantify function estimation error in statistics. In the context of multivariate nonparametric regression with unknown error, we propose a Bayesian procedure based on spike-and-slab prior and wavelet projections to estimate the regression function and all its mixed partial derivatives. We show that their posterior distributions contract to the truth optimally and adaptively under supremum-norm loss. The master theorem through tests with exponential errors used in Bayesian nonparametrics was not adequate to deal with this problem, and we developed a new idea such that posterior under the regression model is systematically reduced to a posterior arising from some quasi-white noise model, where the latter model greatly simplifies our rate calculations. Hence, this paper takes the first step in showing explicitly how one can translate results from white noise to regression model in a Bayesian setting.

研究の動機と目的

• 多変量非パラメトリック回帰におけるsupremum norm損失下での適応的後部収縮結果の不足に対処すること。
• 未知の滑らかさに適応する実用的なベイズ的手法を開発し、回帰関数およびその混合偏導関数の両方を推定すること。
• ベイズ非パラメトリクスにおいて、回帰モデルと白色雑音モデルの間の明確な橋渡しを確立し、より単純な準白色雑音近似を用いたレート計算を可能にすること。
• 既存の理論を$L_2$-損失から$L_\infty$-損失へ拡張することにより、関数推定および信頼区間に対してより解釈可能な$L_\infty$-損失を実現すること。
• ウェーブレット基底およびスパイクアンドスラブ事前分布を用いて、多変量非パラメトリック回帰における適応的$L_\infty$-収縮を達成する、初めての明示的で構成可能な手法を提供すること。

提案手法

• 回帰関数$f$をテンソル積ウェーブレット基底の有限組み合わせとして表現する。
• ウェーブレット係数にスパイクアンドスラブ事前分布を割り当てることで、スパースで適応的な推定および導関数回復を可能にする。
• 誤差分散$\sigma^2$に$(0,\infty)$上での連続的事前分布を付与することで、未知の不均一分散を許容する。
• 回帰モデル下での後部分布を、解析を簡略化するための準白色雑音モデルからの後部分布に還元する。
• Borellの不等式および波形設計行列$\boldsymbol{\Psi}^T\boldsymbol{\Psi}$の境界を用いて、後部平均のsupremum norm偏差を制御する。
• 集中不等式および$\boldsymbol{\Psi}^T\boldsymbol{\Psi}$の固有値境界を用い、仮定$2^{\sum_{l=1}^d J_{n,l}} = o(n)$の下で安定性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ的手法は、多変量非パラメトリック回帰における$L_\infty$-損失下で、適応的かつ最適な後部収縮を達成できるか？
• RQ2 ベイズ枠組みにおいて、回帰モデルの後部収縮率を白色雑音モデルのそれと体系的に関連づける方法は何か？
• RQ3 ウェーブレットスパイクアンドスラブ事前分布は、混合偏導関数の適応的推定にどのように寄与するか？
• RQ4 回帰モデルと白色雑音モデルの間の漸近的同値性を、後部レート計算において明示的にできるか？
• RQ5 未知の滑らかさ下での非等方的Besov空間における回帰関数の最適$L_\infty$-収縮率は何か？

主な発見

• 提案されたウェーブレットスパイクアンドスラブ手順は、supremum norm 損失下で適応的かつ最適な後部収縮率を達成する。
• 回帰モデルにおける後部収縮率は、準白色雑音モデルのそれによって上界で抑えられ、レート計算が容易になる。
• 本手法は、非等方的Besov空間において、回帰関数およびその混合偏導関数の両方について最適な$L_\infty$-収縮を達成する。
• 著者らは、設計仮定$2^{\sum_{l=1}^d J_{n,l}} = o(n)$の下で、$\|\widehat{f}_n - \mathbb{E}_f\widehat{f}_n\|_\infty$ が $O_p(\sqrt{n^{-1} 2^{\sum_{l=1}^d J_{n,l}} \log n})$ で確率的に有界であることを確立した。
• 設計行列$\boldsymbol{\Psi}^T\boldsymbol{\Psi}$の固有値は、$\gtrsim n$ と $O(n)$ の間で有界であり、後部計算における安定性と逆行列可能性を保証する。
• 本研究は、未知の滑らかさに適応し、多変量非パラメトリック回帰における最適な$L_\infty$-収縮を達成する、初めての明示的構成手順を提供する。