[論文レビュー] Random weighting to approximate posterior inference in LASSO regression

Tun Lee Ng, Michael A. Newton|arXiv (Cornell University)|Feb 7, 2020

Statistical Methods and Inference参考文献 29被引用数 5

ひとこと要約

本稿では、LASSO回帰におけるベイズ的後方分布推論を近似するためのランダム重み付け手法を提案する。目的関数の各項に独立な指数分布に従うランダム重みを割り当て、繰り返し最適化することで補助的サンプルを生成する。λₙ = o(√n) のとき、この手法は漸近的にベイズ的後方分布と同等となる。また、λₙ = O(nᶜ) かつ 1/2 < c < 1 のとき、条件付きモデル選択の一貫性を達成する。

ABSTRACT

We consider a general-purpose approximation approach to Bayesian inference in which repeated optimization of a randomized objective function provides surrogate samples from the joint posterior distribution. In the context of LASSO regression, we repeatedly assign independently-drawn standard-exponential random weights to terms in the objective function, and optimize to obtain the surrogate samples. We establish the asymptotic properties of this method under different regularization parameters $\lambda_n$. In particular, if $\lambda_n = o(\sqrt{n})$, then the random-weighting (weighted bootstrap) samples are equivalent (up to the first order) to the Bayesian posterior samples. If $\lambda_n = \mathcal{O} \left( n^c ight)$ for some $1/2 < c < 1$, then these samples achieve conditional model selection consistency. We also establish the asymptotic properties of the random-weighting method when weights are drawn from other distributions, and also if weights are assigned to the LASSO penalty terms.

研究の動機と目的

• 高次元回帰モデルにおけるベイズ的推論の一般用途向け近似手法の開発を目的とする。
• 変動する正則化パラメータの下で、LASSO回帰におけるランダム重み付けの漸近的妥当性を調査すること。
• ランダム重み付けサンプルが真のベイズ的後方分布と一致する、またはモデル選択の一貫性を達成する条件を確立すること。
• 重みの分布を他の分布に拡張し、LASSO正則化項への重み付けを適用する方法を拡張すること。

提案手法

• LASSO目的関数の各項に、独立な標準指数分布に従うランダム重みを割り当てる。
• 重み付き目的関数を繰り返し最適化することで、後方分布からの補助的サンプルを生成する。
• 正則化パラメータ λₙ の異なるスケーリングスケールにおけるこれらのサンプルの漸近的挙動を分析する。
• ランダム重み付けサンプルが真のベイズ的後方分布サンプルと漸近的に同等となる条件を導出する。
• 重みが他の分布から抽出される場合や、LASSO正則化項に特化して重みが割り当てられる場合のフレームワークへの拡張を行う。
• 漸近的理論を用いて、λₙ の成長率が変化する条件下での同等性および一貫性の性質を確立する。

実験結果

リサーチクエスチョン

• RQ1 λₙ がどのような条件下で、ランダム重み付け手法がベイズ的後方分布と漸近的に同等となるか？
• RQ2 ランダム重み付け手法は、高次元LASSO回帰において条件付きモデル選択の一貫性を達成できるか？
• RQ3 重みが指数分布とは異なる分布から抽出される場合、この手法の漸近的性質はどのように変化するか？
• RQ4 残差平方和ではなくLASSO正則化項にのみ重みを割り当てる場合、手法の有効性はどのように変化するか？
• RQ5 λₙ が √n よりも遅い速度で増加する場合、この手法は一貫性を保つのか？

主な発見

• λₙ = o(√n) のとき、ランダム重み付けサンプルは第一次の漸近的同等性を有するベイズ的後方分布サンプルと同等となる。
• λₙ = O(nᶜ) かつ 1/2 < c < 1 のとき、この手法は条件付きモデル選択の一貫性を達成する。
• ランダム重みの分布が標準指数分布である必要はなく、i.i.d. かつ標準指数分布に従う限り、漸近的同等性は保たれる。
• 残差平方和ではなくLASSO正則化項に重みを割り当てる場合、異なる漸近的挙動が生じるが、その挙動は本稿で同定されている。
• 設計行列および誤差分布にややきつい正則性条件が課されても、この手法は有効である。
• 理論的結果により、ランダム重み付けによる補助的サンプルが、適切な正則化スケーリングの下で、主要な頻度的およびベイズ的性質を継承することが確認された。