[論文レビュー] Empirical priors for prediction in sparse high-dimensional linear regression

Ryan Martin, Yiqi Tang|arXiv (Cornell University)|Mar 3, 2019

Statistical Methods and Inference参考文献 39被引用数 7

ひとこと要約

本論文は、予測精度と不確実性の定量化を向上させるために、データに依存する事前分布を用いる、高次元線形回帰のための新しい経験的ベイズ枠組みを提案する。データ駆動の推定値を中心に事前分布を設定し、正則化を加えることで、共役計算を用いて高速な事後分布濃縮と妥当な予測区間を達成し、有限標本において既存のベイズ的手法を上回る性能を発揮する。

ABSTRACT

In this paper we adopt the familiar sparse, high-dimensional linear regression model and focus on the important but often overlooked task of prediction. In particular, we consider a new empirical Bayes framework that incorporates data in the prior in two ways: one is to center the prior for the non-zero regression coefficients and the other is to provide some additional regularization. We show that, in certain settings, the asymptotic concentration of the proposed empirical Bayes posterior predictive distribution is very fast, and we establish a Bernstein--von Mises theorem which ensures that the derived empirical Bayes prediction intervals achieve the targeted frequentist coverage probability. The empirical prior has a convenient conjugate form, so posterior computations are relatively simple and fast. Finally, our numerical results demonstrate the proposed method's strong finite-sample performance in terms of prediction accuracy, uncertainty quantification, and computation time compared to existing Bayesian methods.

研究の動機と目的

• p ≫ n であるスパースな高次元線形モデルにおける正確な予測の課題に対処すること。
• 最適な事後濃縮レートを維持しつつ、計算効率の良いベイズ的予測手法を開発すること。
• 正しい頻度的被覆率を持つ予測区間を通じて、妥当な不確実性の定量化を保証すること。
• 重い尾を持つ事前分布に起因する計算上のボトル neck を克服するため、共役でデータに依存する事前分布を用いること。
• 予測精度、不確実性の定量化、計算速度の観点で、既存のベイズ的手法や頻度的手法と比較して優れた有限標本性能を示すこと。

提案手法

• 本手法は、非ゼロ回帰係数の事前分布を、最小二乗推定値などのデータ駆動推定値を中心に据えることで、経験的事前分布を構築する。
• 安定性と濃縮性の向上を図るため、データから導かれるスケーリング要因を用いて追加の正則化を導入する。
• 得られる経験的ベイズ事後分布は共役性を有しており、標準的なモンテカルロサンプリングにより高速かつ効率的な事後分布計算が可能である。
• 予測分布は経験的事後分布から導出され、点予測と予測区間の生成に用いられる。
• 理論的分析では、ハリントン距離とカルバック・ライブラー距離を用いて、ランダム設計フレームワーク下での事後濃縮レートを確立する。
• ベルンシュタイン＝フォン・ミーゼスの定理を確立し、正しい頻度的被覆率を持つ予測区間の漸近的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 スパースな高次元線形モデルにおいて、データに依存する事前分布を設計することで、高速な事後濃縮を達成できるか？
• RQ2 提案された経験的ベイズ枠組みは、高速な計算を実現しつつも、最適な事後濃縮レートを維持できるか？
• RQ3 得られる予測分布は、正しい頻度的被覆率を持つ妥当な不確実性の定量化を実現できるか？
• RQ4 既存のベイズ的手法や頻度的手法と比較して、有限標本における性能はどの程度か？
• RQ5 経験的事前分布の共役構造を活用することで、理論的保証を損なわずに効率的なサンプリングが可能か？

主な発見

• 経験的ベイズ事後予測分布は、標本内および標本外の両予測設定において、ほぼパラメトリックな収束レートを達成する。
• ベルンシュタイン＝フォン・ミーゼスの定理により、予測区間の漸近的妥当性が保証され、正しい頻度的被覆率が得られる。
• スパース性の下で、事後濃縮レートは最適であり、真のモデルの事後確率は n → ∞ のとき1に収束する。
• 経験的事前分布により共役計算が可能となり、重い尾を持つ事前分布を用いたMCMCと比較して、高速かつ効率的なサンプリングが実現される。
• 数値結果から、既存のベイズ的手法と比較して、予測精度、不確実性の定量化、計算時間の観点で優れた有限標本性能が示された。
• 本手法は p ≫ n の状況でも強固な理論的保証を維持でき、d > 1 の多次元応答変数に対しても、最小限の修正で拡張可能である。