[論文レビュー] High Dimensional Linear Regression via the R2-D2 Shrinkage Prior

Yan Zhang, Brian J. Reich+1 more|arXiv (Cornell University)|Aug 31, 2016

Bayesian Methods and Mixture Models参考文献 23被引用数 11

ひとこと要約

この論文は、高次元線形回帰におけるR2-D2縮約事前分布を導入し、決定係数にベータ事前分布を置き、全分散をディリクレ事前分布を用いて分解する。既存の縮約事前分布の中で、ゼロ回りへの集中速度が最も速く、最も重い裾を持ち、Kullback-Leibler超有効な事後分布収束と計算的に扱いやすいギブスサンプリングによる一貫性のある推定を可能にする。

ABSTRACT

We propose a new class of priors for linear regression, the R-square induced Dirichlet Decomposition (R2-D2) prior. The prior is induced by a Beta prior on the coefficient of determination, and then the total prior variance of the regression coefficients is decomposed through a Dirichlet prior. We demonstrate both theoretically and empirically the advantages of the R2-D2 prior over a number of common shrink- age priors, including the Horseshoe, Horseshoe+, and Dirichlet-Laplace priors. The R2-D2 prior possesses the fastest concentration rate around zero and heaviest tails among these common shrinkage priors, which is established based on its marginal density, a Meijer G-function. We show that its Bayes estimator converges to the truth at a Kullback-Leibler super-efficient rate, attaining a sharper information theoretic bound than existing common shrinkage priors. We also demonstrate that the R2-D2 prior yields a consistent posterior. The R2-D2 prior permits straightforward Gibbs sampling and thus enjoys computational tractability. The proposed prior is further investigated in a mouse gene expression application.

研究の動機と目的

• 既存の縮約事前分布が高次元線形回帰において抱える限界、特に尾部の挙動とゼロ回りへの集中性の問題に対処すること。
• より速い事後分布の集中と改善された頻度論的リスク特性を実現する事前分布の開発。
• 条件付き共役なギブスサンプリングスキームにより計算的取り扱いの容易さを保証すること。
• Kullback-Leibler距離の下での理論的一貫性と収束速度の確立。
• シミュレーションおよび実データにおいて、ホーシューフィールド、ホーシューフィールド+、ディリクレ・ラプラス事前分布よりも優れた性能を示す。

提案手法

• 回帰係数の全分散を制御する係数の決定係数（R²）にベータ事前分布を置くことで、R2-D2事前分布を構築する。
• 全分散を係数ごとに分配するためにディリクレ事前分布を用い、各係数ごとの縮約割り当ての柔軟性を実現する。
• 回帰係数の周辺事前密度をメイジェルG関数として導出することで、尾部挙動と集中性の理論的分析を可能にする。
• 条件付き共役性を活用することで、シンプルなギブスサンプリングが可能となり、計算効率が保証される。
• 周辺密度と事後分布の集中速度の分析を通じて理論的性質を確立する。
• シミュレーション研究とマウス遺伝子発現データセットを用いた実世界の応用により、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 R2-D2事前分布は、高次元設定において、既存の縮約事前分布よりもゼロ回りへの集中が速いか？
• RQ2 R2-D2事前分布は、Kullback-Leibler超有効な事後分布収束速度を達成できるか？
• RQ3 R2-D2事前分布は、正則性条件の下で一貫した事後分布をもたらすか？
• RQ4 有限標本において、R2-D2事前分布はホーシューフィールド、ホーシューフィールド+、ディリクレ・ラプラス事前分布と比べてどのように差がつくか？
• RQ5 R2-D2事前分布は、大規模回帰問題において計算的に取り扱いやすいか？

主な発見

• R2-D2事前分布は、その重尾を持つ周辺事前密度のおかげで、一般的に用いられる縮約事前分布の中でゼロ回りへの集中速度が最も速い。
• R2-D2の周辺事前密度はメイジェルG関数として表現され、尾部挙動と集中性の性質を正確に特徴づけることが可能になる。
• R2-D2事前分布におけるベイズ推定量は、情報理論的効率性において、既存の縮約事前分布を上回るKullback-Leibler超有効なレートで真のパラメータに収束する。
• R2-D2事前分布の事後分布は一貫性を示し、標本サイズが増加するにつれて真の回帰係数の周囲に集中する。
• 条件付き共役性のおかげで、R2-D2事前分布は効率的なギブスサンプリングを可能とし、高次元におけるスケーラブルな計算が実現できる。
• マウス遺伝子発現研究における実験的結果から、R2-D2事前分布の変数選択および推定精度における優れた性能が確認された。