[論文レビュー] A Power Analysis for Knockoffs with the Lasso Coefficient-Difference Statistic

Asaf Weinstein, Weijie Su+3 more|arXiv (Cornell University)|Jul 30, 2020

Random Matrices and Applications参考文献 24被引用数 17

ひとこと要約

この論文は、近似的なメッセージパッシング（AMP）理論を活用して、信号の事前知識が不要な高次元線形モデルにおける変数選択のためのノックオフスキャリブレーテッドしきい値付きLasso法を提案する。この手法は、交差検証によって拡張されたデータ行列上でλが選択された場合、標準Lassoよりも真の陽性率を顕著に向上させることを示している。

ABSTRACT

In a linear model with possibly many predictors, we consider variable selection procedures given by $$ \{1\leq j\leq p: |\widehat{\beta}_j(\lambda)| > t\}, $$ where $\widehat{\beta}(\lambda)$ is the Lasso estimate of the regression coefficients, and where $\lambda$ and $t$ may be data dependent. Ordinary Lasso selection is captured by using $t=0$, thus allowing to control only $\lambda$, whereas thresholded-Lasso selection allows to control both $\lambda$ and $t$. The potential advantages of the latter over the former in terms of power---figuratively, opening up the possibility to look further down the Lasso path---have been quantified recently leveraging advances in approximate message-passing (AMP) theory, but the implications are actionable only when assuming substantial knowledge of the underlying signal. In this work we study theoretically the power of a knockoffs-calibrated counterpart of thresholded-Lasso that enables us to control FDR in the realistic situation where no prior information about the signal is available. Although the basic AMP framework remains the same, our analysis requires a significant technical extension of existing theory in order to handle the pairing between original variables and their knockoffs. Relying on this extension we obtain exact asymptotic predictions for the true positive proportion achievable at a prescribed type I error level. In particular, we show that the knockoffs version of thresholded-Lasso can perform much better than ordinary Lasso selection if $\lambda$ is chosen by cross-validation on the augmented matrix.

研究の動機と目的

• 高次元線形モデルにおける誤り発見率（FDR）を制御する変数選択手順を開発すること。信号の事前知識が不要であることを前提とする。
• 近似的なメッセージパッシング（AMP）理論を、元の変数とそのノックオフ対応変数のペア構造を扱えるように拡張すること。
• 固定された第一種誤差水準におけるノックオフスベースのしきい値付きLassoの統計的検出力を、真の陽性率の観点から定量化すること。
• 拡張されたデータ行列（元の変数＋ノックオフ変数）上で交差検証が行われることで、標準Lassoよりも優れた性能が得られることを示すこと。

提案手法

• この手法は、しきい値付きLasso選択ルールを用いる。具体的には、Lasso係数の絶対値がデータに依存するしきい値$t$を超える変数が選択され、正則化パラメータ$\lambda$は交差検証によって調整される。
• FDR制御を保証するためのノックオフスキャリブレーション手順を導入し、元の予測子とペアをなす合成変数を構築する。
• 高次元漸近的条件下で、元の変数とノックオフ変数の同時挙動をモデル化するために、AMP理論の拡張を用いる分析を行う。
• 主な統計量は、元の変数とノックオフ変数の係数差であり、FDR制御を保ちながら特徴量のランク付けと選択に用いられる。
• この手法は、元の予測子行列にノックオフ変数を追加して得られる拡張された設計行列を対象として動作する。
• ランダム設計とi.i.d.ガウスノイズの下で、拡張されたAMPフレームワークを用いて真の陽性率の漸近的予測を導出する。

実験結果

リサーチクエスチョン

• RQ1 しきい値付きLasso選択にノックオフスキャリブレーションを適用することで、高次元設定において標準Lassoよりも高い統計的検出力を達成できるか？
• RQ2 特に、拡張された行列上で交差検証によって選ばれた$\lambda$の選択が、真の陽性率とFDR制御に与える影響は何か？
• RQ3 固定された第一種誤差率におけるノックオフスベースのしきい値付きLassoの漸近的性能は、真の陽性率の観点からどのように評価できるか？
• RQ4 元の変数とノックオフ変数のペア構造が、変数選択手順の理論的分析に与える影響は何か？
• RQ5 信号構造の事前知識が全くない状況でも、ノックオフスベースの選択の検出力をどの程度向上させられるか？

主な発見

• 交差検証によって拡張されたデータ行列上で$\lambda$が選択された場合、ノックオフスキャリブレーテッドしきい値付きLasso法は、標準Lassoよりも顕著に高い真の陽性率を達成する。
• 元のノックオフペア構造を考慮した拡張された近似的なメッセージパッシング（AMP）フレームワークを用いて、この手法の漸近的性能が解析的に特徴付けられている。
• 高次元漸近的条件下で、真の陽性率の正確な漸近的予測が導出され、FDR制御付き変数選択の理論的ベンチマークが得られている。
• 信号の事前知識が不要であるため、信号構造が未知である現実的状況においても適用可能である。
• 拡張された行列上で交差検証が行われることで、標準Lassoに比べて検出力が著しく向上し、正則化チューニングにおいてノックオフ情報を利用することの利点が示された。
• 理論的フレームワークにより、しきい値付きLassoにノックオフスキャリブレーションを適用することで、Lassoパスのより外側の探索を許容でき、標準Lassoを上回ることの可能性が確認された。