[論文レビュー] A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression

Young‐Seok Kim, Wei Wang+2 more|arXiv (Cornell University)|Aug 23, 2022

Bayesian Methods and Mixture Models被引用数 7

ひとこと要約

この論文は、適応的シャーピング事前分布と変分ベイズ推論を用いて、予測精度が最先端の正則化回帰手法と競合する、高速で柔軟な経験的ベイズ手法を導入する。この手法は最適化を用いてデータからペナルティ関数を直接学習するため、交差検証の必要がなく、lassoと同等の計算速度を達成しながら、スパースおよび密度の高い信号設定の両方に対応する。

ABSTRACT

We introduce a new empirical Bayes approach for large-scale multiple linear regression. Our approach combines two key ideas: (i) the use of flexible "adaptive shrinkage" priors, which approximate the nonparametric family of scale mixture of normal distributions by a finite mixture of normal distributions; and (ii) the use of variational approximations to efficiently estimate prior hyperparameters and compute approximate posteriors. Combining these two ideas results in fast and flexible methods, with computational speed comparable to fast penalized regression methods such as the Lasso, and with competitive prediction accuracy across a wide range of scenarios. Further, we provide new results that establish conceptual connections between our empirical Bayes methods and penalized methods. Specifically, we show that the posterior mean from our method solves a penalized regression problem, with the form of the penalty function being learned from the data by directly solving an optimization problem (rather than being tuned by cross-validation). Our methods are implemented in an R package, mr.ash.alpha, available from https://github.com/stephenslab/mr.ash.alpha.

研究の動機と目的

• 大規模な多重線形回帰に対して、予測精度と速度の両立を図る計算効率の良い経験的ベイズ手法の開発。
• 既存の正則化回帰手法の限界（例：lassoによる過剰なシャーピングやチューニングへの感受性）を克服するため、ペナルティ関数をデータから直接学習する。
• 経験的ベイズと正則化回帰の間のギャップを埋めるために、事後平均がデータに適応する正則化回帰問題を解くことを示す。
• スパarsity構造の事前知識がなくても、スパースおよび密度の高い信号設定の両方で安定した性能を発揮できるようにする。
• MCMCに基づくベイズ手法の実用的で自己調整可能な代替手段を提供し、収束が速く、実装が容易である。

提案手法

• スケール混合正規分布族を近似するため、有限混合正規分布に基づく柔軟な事前分布を採用し、回帰係数の適応的シャーピングを実現する。
• 変分ベイズ推論を用いて、事前分布のハイパーパrameterと近似事後分布を同時に推定し、計算効率を確保する。
• Tweedieの公式を用いて事後平均を導出し、周辺尤度と事後平均シャーピング作用素の関係を確立する。
• このアプローチは、ペナルティ関数を最適化によりデータから学習する正則化最小二乗問題として事後平均を定式化する。交差検証ではなく、最適化による学習である。
• 対称かつ単調増加で非負の対称単峰値事前分布の数学的性質を活用し、シャーピング作用素が正のyに対して対称的かつ非減少的で非負であることを保証する。
• このフレームワークは、GitHubに公開されたRパッケージmr.ash.alphaとして実装されており、高次元回帰へのスケーラブルな応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 経験的ベイズアプローチは、スパースおよび密度の高い信号設定の両方で、最良の正則化回帰手法と同等の予測精度を達成できるか？
• RQ2 高次元回帰の文脈において、変分ベイズ推論がハイパーパrameterと事後分布を効率的に推定する方法は何か？
• RQ3 経験的ベイズ事後平均と正則化回帰の間にはどのような関係があり、ペナルティ関数をデータから直接学習できるか？
• RQ4 最適化によるペナルティ構造の学習により、交差検証の必要を回避できるか？
• RQ5 提案手法は、ユーザーがチューニングパrameterを指定しなくても、さまざまなデータ生成メカニズムに対して強固な性能を維持できるか？

主な発見

• 提案手法は、スパースおよび密度の高い信号設定の両方で、lasso、Elastic Net、非凸ペナルティを含む最良の正則化回帰手法と同等の予測精度を達成する。
• この手法の計算速度は、交差検証を伴うlassoなどの高速正則化回帰手法と同等であり、大規模データセットへのスケーラビリティを実現する。
• 経験的ベイズ手法の事後平均が、最適化によりデータから学習されたペナルティ関数を持つ正則化最小二乗問題の解であることが示され、交差検証の必要がなくなる。
• スパースおよび密度の高い状況の両方で一貫した性能を発揮するため、真の信号構造が不明な場合の信頼できる選択肢となる。
• 理論的分析により、事後平均シャーピング作用素が正のyに対して対称的かつ非減少的で非負であることが確認され、安定的かつ解釈可能なシャーピング行動が保証される。
• この手法は、オープンソースのRパッケージmr.ash.alphaとして実装されており、再現性と実世界応用への実用的導入を促進する。