[論文レビュー] Posterior Concentration Properties of a General Class of Shrinkage Priors around Nearly Black Vectors

Prasenjit Ghosh, Arijit Chakrabarti|arXiv (Cornell University)|Dec 28, 2014

Seismic and Structural Analysis of Tall Buildings参考文献 3被引用数 8

ひとこと要約

本稿は、高次元スパース平均ベクトルの推定において、ハンズシューベル、一般化された二重パレート、三パラメータベータ正規混合など、広範な連続的スリッジング・プライアの事後濃縮性を確立する。頻度主義枠組みのもとで、これらのプライアがほぼブラックなベクトルのまわりで最小最大最適な事後収縮率を達成することを証明し、濃縮性と事後分散の下界について理論的保証を提示する。

ABSTRACT

Suppose we have data generated according to a multivariate normal distribution with a fixed unknown mean vector that is sparse in the sense of being nearly black. Optimality of Bayes estimates and posterior concentration properties in terms of the minimax risk in the $l_2$ norm corresponding to a very general class of continuous shrinkage priors are studied in this work. The class of priors considered is rich enough to include a great variety of heavy tailed prior distributions, such as, the three parameter beta normal mixtures (including the horseshoe), the generalized double Pareto, the inverse gamma and the normal-exponential-gamma priors. Assuming that the number of non-zero components of the mean vector is known, we show that the Bayes estimators corresponding to this general class of priors attain the minimax risk in the $l_2$ norm (possibly up to a multiplicative constant) and the corresponding posterior distributions contract around the true mean vector at the minimax optimal rate for appropriate choice of the global shrinkage parameter. Moreover, we provide conditions for which these posterior distributions contract around the corresponding Bayes estimates at least as fast as the minimax risk in the $l_2$ norm. We also provide a lower bound to the total posterior variance for an important subclass of this general class of shrinkage priors that includes the generalized double Pareto priors with shape parameter $α=0.5$ and the three parameter beta normal mixtures with parameters $a=0.5$ and $b>0$ (including the horseshoe) in particular. The present work is inspired by the recent work of van der Pas et al. (2014) on the posterior contraction properties of the horseshoe prior under the present set-up. We extend their results for this general class of priors and come up with novel unifying proofs which work for a very broad class of one-group continuous shrinkage priors.

研究の動機と目的

• 一般連続的スリッジング・プライアのクラスの事後濃縮性を、高次元スパース平均推定において研究すること。
• van der Pas ら (2014) のハンズシューベル・プライアに関する結果を、より広範な1群スリッジング・プライアのクラスへ拡張すること。
• l₂損失下でのベイズ推定量の最小最大最適事後収縮率を確立すること。
• 最小最大リスクに対する高速な事後収縮を保証するグローバル・スリッジング・パラメータの条件を導出すること。
• ハンズシューベルおよびα = 1の一般化された二重パレートを含む、プライアの部分集合に対して、総事後分散の下界を提供すること。

提案手法

• 著者らは、グローバルおよびローカル・スリッジング・パラメータを有する正規分布のスケール混合として表現される、1群の連続的スリッジング・プライアの一般クラスを検討する。
• 固定されながらも未知の高次元平均ベクトルを想定する頻度主義的設定のもとで、真のスパース平均ベクトルのまわりの事後濃縮性を分析する。
• 解析は、特にnが大きい場合の混合密度L(t)を含む積分のラプラス近似と漸近的境界に依存する。
• 主な技術的ツールとして、混合密度L(t)の性質（単調性や有界性など）を用いた変数変換と積分の境界評価が用いられる。
• 証明は、特にハンズシューベル・プライアについてのvan der Pas ら (2014) の議論を、より広範なプライアのクラスへ適応・一般化したものである。
• 事後密度のモーメントI_{1/2}、I_{3/2}、I_{5/2}を含む積分の比を分析することで、事後分散の上界および下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般連続的スリッジング・プライアは、高次元スパース平均推定において最小最大最適な事後収縮率を達成するか？
• RQ2 グローバル・スリッジング・パラメータにどのような条件を課すと、事後分布が真の平均ベクトルのまわりで最小最大レートに収縮するか？
• RQ3 ハンズシューベルおよび一般化された二重パレートなどの重要なプライアのサブクラスにおいて、事後分散はどのように振る舞うか？
• RQ4 ハンズシューベル・プライアに用いられた理論的枠組みを、類似の濃縮性を持つより広範な1群プライアのクラスへ拡張可能か？
• RQ5 ハンズシューベルおよびα = 1の一般化された二重パレートを含むプライアの部分集合について、総事後分散の下界は何か？

主な発見

• 非ゼロ成分の数が既知のとき、一般クラスのスリッジング・プライアのベイズ推定量は、l₂損失下で最小最大リスク（定数倍を除く）に達する。
• スパースネスのレベルに応じた適切なグローバル・スリッジング・パラメータの選択のもとで、事後分布は真の平均ベクトルのまわりで最小最大最適レートに収縮する。
• ハンズシューベルおよびα = 1の一般化された二重パレートを含むサブクラスに対して、総事後分散の下界が導出され、これは漸近的にも消えない不確実性を示している。
• 事後分散は、$ \tau \cdot \left( e^{\tau^2 y} \left( \frac{1}{\tau} - \frac{1}{\sqrt{\tau}} \right) \right) $に比例する項によって下から抑えられ、推定における持続的なばらつきを反映している。
• van der Pas ら (2014) の枠組みは、三パラメータベータ正規混合、一般化された二重パレート、正規指数ガンマプライアを含む、はるかに広範なプライアのクラスへ一般化された。
• 証明技法は統一的であり、クラス全体に一様に適用可能であり、多様な重尾プライアが高次元スパース問題で一般的に用いられる場合に、同じ解析戦略が有効であることを示している。