[論文レビュー] EigenPrism: Inference for High-Dimensional Signal-to-Noise Ratios

Lucas Janson, Rina Foygel Barber+1 more|arXiv (Cornell University)|May 8, 2015

Statistical Methods and Inference参考文献 28被引用数 4

ひとこと要約

EigenPrism は、スパarsity仮定やノイズレベルの知識を必要とせず、高次元線形モデル（$p > n$）における $θ^2 = \|\bm{\Sigma}^{1/2}\bm{\beta}\|_2^2$ の信号対ノイズ比の有効な信頼区間を構築する、計算的に効率的な新規手法である。多変量正規分布デザインのもとで漸近的妥当性と有限標本におけるカバレッジを達成し、回帰誤差、ノイズレベル、遺伝的発現率（遺伝率）に関する推論を可能にする。

ABSTRACT

Consider the following three important problems in statistical inference, namely, constructing confidence intervals for (1) the error of a high-dimensional ($p>n$) regression estimator, (2) the linear regression noise level, and (3) the genetic signal-to-noise ratio of a continuous-valued trait (related to the heritability). All three problems turn out to be closely related to the little-studied problem of performing inference on the $\ell_2$-norm of the signal in high-dimensional linear regression. We derive a novel procedure for this, which is asymptotically correct when the covariates are multivariate Gaussian and produces valid confidence intervals in finite samples as well. The procedure, called EigenPrism, is computationally fast and makes no assumptions on coefficient sparsity or knowledge of the noise level. We investigate the width of the EigenPrism confidence intervals, including a comparison with a Bayesian setting in which our interval is just 5% wider than the Bayes credible interval. We are then able to unify the three aforementioned problems by showing that the EigenPrism procedure with only minor modifications is able to make important contributions to all three. We also investigate the robustness of coverage and find that the method applies in practice and in finite samples much more widely than just the case of multivariate Gaussian covariates. Finally, we apply EigenPrism to a genetic dataset to estimate the genetic signal-to-noise ratio for a number of continuous phenotypes.

研究の動機と目的

• 高次元線形モデル（$p > n$）における回帰係数ベクトル $\bm{\beta}$ の $\ell_2$-ノルムの信頼区間を構築する手法を開発すること。これは根本的ではあるが、あまり検討が進んでいない推論問題である。
• （1）回帰推定誤差、（2）ノイズレベル、（3）遺伝的信号対ノイズ比（遺伝率）という3つの重要な統計的問題を統合すること。これらはいずれも $\theta^2 = \|\bm{\Sigma}^{1/2}\bm{\beta}\|_2^2$ の推定に帰着する。
• 有限標本における妥当性と最小限の仮定（具体的には多変量正規分布共変数）のもとでの漸近的正しさを保証すること。特に、係数のスパarsity や $\sigma^2$ の知識に依存しないこと。
• 得られた信頼区間の幅とロバスト性を評価し、ベイズ信用区間と比較し、非正規分布デザイン下での性能を評価すること。

提案手法

• 設計行列 $\bm{X}^T\bm{X}$ の固有値分解に基づく新しい手順、EigenPrism を提案。$\bm{X}^T\bm{X}$ の固有ベクトルへの応答 $\bm{y}$ の二乗射影を用いる。
• $z_i^2 = \bm{u}_i^T\bm{y}^2$（$i$ 番目の固有ベクトル $\bm{u}_i$ への $\bm{y}$ の二乗射影）に基づく統計量を構築し、$\theta^2$ を推定する。
• 固有値と $z_i^2$ 統計量の漸近的分布に基づくスチューデント化されたピボットを用いて、$\theta^2$ の両側信頼区間を構築する。
• 有限標本におけるカバレッジを向上させるために、分散安定化とバイアス補正技術を採用し、特に高次元設定で有効である。
• 信号対ノイズ比を回帰誤差、ノイズ分散、遺伝率の観点から再パラメータ化することで、コアな EigenPrism フレームワークを3つの異なる推論問題に適応させる。
• 広範なシミュレーションと遺伝データセット（NFBC1966）を用いた実データ解析を通じて、手法の妥当性を検証。正規分布でないデザイン仮定の下でもロバストであることが示された。

実験結果

リサーチクエスチョン

• RQ1 スパarsity 仮定や $\sigma^2$ の知識なしに、高次元線形モデル（$p > n$）における回帰係数ベクトル $\bm{\beta}$ の $\ell_2$-ノルムの有効な信頼区間を構築可能か？
• RQ2 設計行列が多変量正規分布でない場合、特に有限標本において EigenPrism 信頼区間のカバレッジはどの程度の水準にあるか？
• RQ3 同一のコア手順を、回帰誤差、ノイズレベル、遺伝的信号対ノイズ比（遺伝率）の推論を統合するのにも適応可能か？
• RQ4 同じモデル仮定下で、EigenPrism 信頼区間の幅はベイズ信用区間と比べてどの程度か？
• RQ5 $\bm{X}$ の正規分布仮定が満たされない場合でも、EigenPrism 手順の妥当性を実務的に評価するための診断やロバストネスチェックは可能か？

主な発見

• EigenPrism は、多変量正規分布デザインのもとで、高次元設定（$p > n$）においても、有限標本におけるカバレッジが名目水準に非常に近い信頼区間を生成する。
• シミュレーションおよび実データ解析の両方で、95% 信頼区間のカバレッジが達成され、同じモデル下でベイズ信用区間と比較して区間幅がわずかに 5% 大きいにとどまる。
• EigenPrism は多変量正規分布デザインからの逸脱に対してもロバストである。非正規分布および相関のあるデザインの下でも、良好なカバレッジを維持することがシミュレーションで示された。
• わずかなフレームワークの修正で、回帰誤差、ノイズレベル、遺伝的信号対ノイズ比の3つの異なる問題の推論を統合的に扱うことに成功した。
• NFBC1966 遺伝データセットの解析において、EigenPrism は、固定効果モデルを用いても、身長の遺伝率について、先行研究の推定値（例：73.8% および 62.5%）と整合する 95% 信頼区間を生成した。
• $\sigma^2$ の知識やスパarsity 仮定を必要とせず、観測可能な設計行列の性質に基づいて妥当性が保証される。信頼性の診断チェックが可能である。