[論文レビュー] Bayesian shrinkage

Anirban Bhattacharya, Debdeep Pati+2 more|arXiv (Cornell University)|Dec 25, 2012

Statistical Methods and Inference参考文献 19被引用数 17

ひとこと要約

本稿では、高次元ベイesian回帰における連続的スパース化事前分布の新しいクラスとして、ディリクレラプラス（DL）事前分布を提案し、事後濃縮の最適性と計算効率の両面でその有効性を示している。一般的な事前分布（例えばベイジアンラッソ）とは異なり、スパース性下で頻度的最小最大レートを達成するが、正規化された確率測度理論を用いることでスケーラブルな計算が可能である。

ABSTRACT

Penalized regression methods, such as $L_1$ regularization, are routinely used in high-dimensional applications, and there is a rich literature on optimality properties under sparsity assumptions. In the Bayesian paradigm, sparsity is routinely induced through two-component mixture priors having a probability mass at zero, but such priors encounter daunting computational problems in high dimensions. This has motivated an amazing variety of continuous shrinkage priors, which can be expressed as global-local scale mixtures of Gaussians, facilitating computation. In sharp contrast to the corresponding frequentist literature, very little is known about the properties of such priors. Focusing on a broad class of shrinkage priors, we provide precise results on prior and posterior concentration. Interestingly, we demonstrate that most commonly used shrinkage priors, including the Bayesian Lasso, are suboptimal in high-dimensional settings. A new class of Dirichlet Laplace (DL) priors are proposed, which are optimal and lead to efficient posterior computation exploiting results from normalized random measure theory. Finite sample performance of Dirichlet Laplace priors relative to alternatives is assessed in simulations.

研究の動機と目的

• 高次元ベイesian回帰における連続的スパース化事前分布の理論的理解の不足を解消すること。
• スパース性下で広く用いられるスパース化事前分布（例えばベイジアンラッソ）の非最適性を同定し是正すること。
• スパース性下で最適な事後濃縮率と頻度的最小最大レートを達成する、新しい事前分布のクラス「ディリクレラプラス（DL）」を構築すること。
• 正規化された確率測度理論との関連を活用し、事後分布の効率的計算を可能にすること。
• 既存のスパース化手法と比較して、DL事前分布の有限標本における性能を評価すること。

提案手法

• スパース性を誘導する2成分混合分布の連続的アナロジーとして、グローバルローカル分散混合事前分布の広いクラスを提案する。
• 高次元漸近論の理論的ツールを用いて、事前分布および事後分布の濃縮特性を分析する。
• ディリクレ分布に基づくローカルスケールを用いた具体的な構成として、ディリクルラプラス（DL）事前分布を導入し、最適な濃縮レートを保証する。
• 正規化された確率測度理論の結果を活用し、事後分布の効率的MCMC計算を可能にする。
• 高次元スパースモデルにおいて、スパース化事前分布が最小最大最適な事後濃縮率を達成する理論的条件を導出する。
• シミュレーションスタディを用いて、DL事前分布とベイジアンラッソ、その他の連続的スパース化事前分布の有限標本性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 一般的に用いられる連続的スパース化事前分布（例えばベイジアンラッソ）は、高次元スパースモデルにおいて最適な事後濃縮を達成するか？
• RQ2 スパース性下で最小最大最適な事後濃縮率を達成する、新たなスパース化事前分布のクラスを構築可能か？
• RQ3 ディリクルラプラス事前分布は、既存のスパース化事前分布に比べて、どのような理論的・計算的利点を有するか？
• RQ4 有限標本設定において、DL事前分布の性能は他の代替手法と比較してどうか？
• RQ5 正規化された確率測度理論を活用することで、複雑なスパース化事前分布に対するスケーラブルな計算が可能か？

主な発見

• 一般的に用いられるスパース化事前分布（ベイジアンラッソを含む）は、高次元設定下で事後濃縮が不十分であるため、非最適である。
• 提案されたディリクルラプラス（DL）事前分布は、スパース性下で最適な事後濃縮率を達成し、最小最大最適な頻度的レートと一致する。
• DL事前分布は、ローカルスケールのスケールにディリクレ分布を用いることで構築され、理論的最適性と計算スケーラビリティの両方を実現する。
• 理論的分析により、予測子の数が標本サイズとともに増大する場合でも、DL事前分布が最適なレートで事後濃縮を達成することが示された。
• 有限標本シミュレーションにより、DL事前分布がベイジアンラッソおよび他の連続的スパース化事前分布を上回る推定精度と変数選択性能を示した。
• 正規化された確率測度の性質を活用することで、DL事前分布の効率的かつ実用的な事後計算が可能となり、高次元での実装が可能となった。