[論文レビュー] Bayesian Linear Regression for Multivariate Responses Under Group Sparsity

Bo Ning, Seonghyun Jeong+1 more|arXiv (Cornell University)|Jul 10, 2018

Statistical Methods and Inference参考文献 25被引用数 4

ひとこと要約

本稿では、スパイクアンドスラブ事前分布にℓ₂,₁-正則化を適用し、高次元で未知の共分散行列をもつベイジアン多変量線形回帰モデルを提案する。共分散行列には固有値分解に基づく新しい事前分布を導入し、ユークリッド距離における事後収縮率を確立するとともに、ベルンシュタイン＝フォン・ミーゼスの定理により頻度主義的妥当性を証明し、変数選択の一致性とモデル次元の回復を保証する。

ABSTRACT

We study frequentist properties of a Bayesian high-dimensional multivariate linear regression model with correlated responses. The predictors are separated into many groups and the group structure is pre-determined. Two features of the model are unique: (i) group sparsity is imposed on the predictors. (ii) the covariance matrix is unknown and its dimensions can also be high. We choose a product of independent spike-and-slab priors on the regression coefficients and a new prior on the covariance matrix based on its eigendecomposition. Each spike-and-slab prior is a mixture of a point mass at zero and a multivariate density involving a $\ell_{2,1}$-norm. We first obtain the posterior contraction rate, the bounds on the effective dimension of the model with high posterior probabilities. We then show that the multivariate regression coefficients can be recovered under certain compatibility conditions. Finally, we quantify the uncertainty for the regression coefficients with frequentist validity through a Bernstein-von Mises type theorem. The result leads to selection consistency for the Bayesian method. We derive the posterior contraction rate using the general theory by constructing a suitable test from the first principle using moment bounds for certain likelihood ratios. This leads to posterior concentration around the truth with respect to the average Rényi divergence of order 1/2. This technique of obtaining the required tests for posterior contraction rate could be useful in many other problems.

研究の動機と目的

• グループスパarsityと未知の共分散行列をもつベイジアン高次元多変量線形回帰の頻度主義的性質を検討すること。
• 回帰係数にℓ₂,₁-正則化を施したスパイクアンドスラブ事前分布を用いてグループスパarsityを誘導する事前分布構造を構築すること。
• 共分散行列に固有値分解に基づく新しい事前分布を構築し、高次元かつ未知の共分散を適切に取り扱うこと。
• 平均リーマン距離の1/2次の事後収縮率を確立し、それをユークリッド距離への変換を行うこと。
• ベルンシュタイン＝フォン・ミーゼス型の定理により、事後推論の頻度主義的妥当性を証明し、変数選択の一貫性を保証すること。

提案手法

• 回帰係数に独立なスパイクアンドスラブ事前分布の積を用い、各成分はゼロにおけるデルタ関数とℓ₂,₁-正則化を含む多変量密度の混合である。
• グループごとにℓ₂,₁-ノルムを適用することでグループスパarsityを実現し、予測子のグループ全体を同時に選択または除外するよう促進する。
• 逆共分散行列に固有値分解に基づく新しい事前分布を提案し、適切な集中性と高次元への適応性を保証する。
• 尤度比のモーメントバウンドを用いて、第一原理からテストを構築することで、一般化された事後収縮理論を適用する。
• パrameter空間を小さな領域に分割し、モーメントバウンドにより誤差確率を制御することで、リーマン距離に基づく収縮率を達成する。
• 測度変換の議論により、リーマン距離に基づく収縮率をユークリッド距離に変換し、有効な頻度主義的推論を保証する。

実験結果

リサーチクエスチョン

• RQ1 グループスパarsityと未知の高次元共分散行列をもつベイジアン多変量回帰に対して、事後収縮率を確立できるか？
• RQ2 ℓ₂,₁-正則化を施した提案されたスパイクアンドスラブ事前分布は、一貫したモデル選択と真のグループ構造の回復をもたらすか？
• RQ3 共分散行列に固有値分解に基づく新しい事前分布は、適切な集中性と高次元への適応性を保証するか？
• RQ4 事後分布はベルンシュタイン＝フォン・ミーゼスの定理の意味で漸近的に正規分布に従うか？これにより、ベイジアン信用区間の頻度主義的妥当性が保証されるか？
• RQ5 相関条件を満たす条件下で、高次元スケーリング下でも変数選択の一貫性を達成できるか？

主な発見

• 平均リーマン距離の1/2次の事後収縮率が確立され、この収縮率が回帰係数のユークリッド距離に変換された。
• 事後分布は真の回帰係数の周囲に集中し、高い事後確率で有効なモデル次元が有界に保たれる。
• 相関条件のもとでモデル次元の回復が有効であり、非ゼログループ数の推定が一貫的に行える。
• 共分散行列の事前分布の集中度が制御されており、真の逆共分散行列の近傍の事前確率が定数倍の−d³ log nで下から抑えられている。
• スィーブベースのエントロピーと事前確率の推定値が制御されており、log N* ≲ nεₙ² が満たされ、これは事後収縮に不可欠である。
• 選択の一貫性が達成され、ベルンシュタイン＝フォン・ミーゼスの定理が成立し、高次元設定下でベイジアン信用区間が頻度主義的信頼区間として妥当であることが裏付けられる。