[論文レビュー] Dirichlet-Laplace priors for optimal shrinkage

Anirban Bhattacharya, Debdeep Pati+2 more|arXiv (Cornell University)|Jan 21, 2014

Statistical Methods and Inference参考文献 26被引用数 7

ひとこと要約

この論文は、スパースな高次元モデルにおいて頻度的最小最大レートで最適な事後濃縮を達成する、高次元ベイジアン回帰のための新しいクラスのグローバルローカルスパース化事前分布であるディリクレ・ラプラス（DL）事前分布を導入する。正規化された確率測度理論を活用することで、DL事前分布は効率的な事後計算を可能にするとともに、不要な係数の最適なスパース化と正確な不確実性の定量化を保証する。

ABSTRACT

Penalized regression methods, such as $L_1$ regularization, are routinely used in high-dimensional applications, and there is a rich literature on optimality properties under sparsity assumptions. In the Bayesian paradigm, sparsity is routinely induced through two-component mixture priors having a probability mass at zero, but such priors encounter daunting computational problems in high dimensions. This has motivated an amazing variety of continuous shrinkage priors, which can be expressed as global-local scale mixtures of Gaussians, facilitating computation. In sharp contrast to the frequentist literature, little is known about the properties of such priors and the convergence and concentration of the corresponding posterior distribution. In this article, we propose a new class of Dirichlet--Laplace (DL) priors, which possess optimal posterior concentration and lead to efficient posterior computation exploiting results from normalized random measure theory. Finite sample performance of Dirichlet--Laplace priors relative to alternatives is assessed in simulated and real data examples.

研究の動機と目的

• スパースな高次元モデルにおいて最適な事後濃縮レートを達成する連続的スパース化事前分布の新規クラスの開発。
• 高次元設定における既存の2成分混合事前分布および連続的スパース化事前分布の計算的・理論的限界を克服すること。
• Lassoなどの頻度的$L_1$正則化の理論的裏付けのあるベイジアン代替手法として、最適な収束レートを持つものとしての提供。
• 正規化された確率測度理論との関連を活用して、効率的な事後計算を可能にすること。
• 特に弱いスパース性仮定下でのベイジアンスパース化事前分布と頻度的最適性のギャップを埋めること。

提案手法

• グローバルスケールがラプラス事前分布に従い、ローカルスケールがディリクレ分布に従うグローバルローカルスケール混合としてのディリクレ・ラプラス（DL）事前分布を提案。
• ローカルスケーリングパラメータが濃度パrameter $a$ を持つ対称ディリクレ分布に従い、グローバルスケールがラプラス事前分布に割り当てられる階層的構造を採用。
• 正規化された確率測度理論を用いて、事後濃縮およびスパース化行動などの理論的性質を導出。
• スパースなベクトルまわりの事前濃縮の境界を導出し、連続的スパース化による有効な次元削減を示す。
• 事前分布の尾部挙動を分析し、高次元ガウス混合のための濃縮不等式を用いて、事後収縮レートを確立。
• MCMCサンプリングによる計算効率の妥当性を検証し、シミュレーションおよび実データ研究を通じてスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 スパースな高次元モデル下で、事後分布が最小最大レートに収束するような連続的スパース化事前分布を構築することは可能か？
• RQ2 不要な係数の最適なスパース化を達成しつつ、計算の実行可能性を維持できるように事前分布を設計するにはどうすればよいか？
• RQ3 事後分布が真のスパースパラメーターベクトルのまわりに最適なレートで濃縮するための理論的条件は何か？
• RQ4 提案されたディリクレ・ラプラス事前分布は、事後濃縮および計算効率の観点で、既存のスパース化事前分布と比べてどのように異なるか？
• RQ5 正規化された確率測度理論を用いることで、グローバルローカルスパース化事前分布の濃縮特性を統一的に分析するフレームワークを提供できるか？

主な発見

• 弱いスパース性仮定下で、ディリクレ・ラプラス事前分布は、$O(\tilde{q}_n \times \text{log}(n)/n)^{1/2}$ の最小最大レートで事後濃縮を達成し、$L_1$正則化の最適な頻度的レートと一致する。
• ほとんどの係数をゼロに近づける一方で、少数の大きな係数を許容する連続的スパース化により、有効な次元削減が実現される。非ゼロ成分の数は、大きな $A$ に対して $A q_n$ で確率的に有界である。
• 事後収縮は2つの状況で確立されている：$q_n \to \text{const}$ および $q_n \to \text{slowly growing}$ の場合で、真のパラメータの周囲の縮小近傍の事後確率が1に収束する。
• 理論的境界により、スパースなベクトルまわりの事前濃縮が十分に強く、ほとんどすべての $i$ に対して $\text{Pr}(|\theta_i| > \tilde{\theta}_n) \to 0$ となることが示された。ここで $\tilde{\theta}_n$ は最小最大レートである。
• グローバルローカルスケール混合構造の条件付き共役性を活用し、ギブスサンプリングにより効率的な事後計算が可能である。
• シミュレーションおよび実データ例により、DL事前分布が変数選択の正確性および不確実性の定量化の観点で、既存のスパース化事前分布を上回ることを示した。