[論文レビュー] Covariate Assisted Variable Ranking

Zheng Tracy Ke, Fan Yang|arXiv (Cornell University)|May 29, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用数 3

ひとこと要約

本稿では、希少で微弱な信号を伴う高次元線形モデルにおける変数ランク付けのための二段階手法であるFactor-adjusted Covariate Assisted Ranking (FA-CAR)を提案する。PCAを用いて主要因を除去する（FAステップ）、その後局所的共変動構造に基づいて変数をランク付ける（CARステップ）ことで、確実なスクリーニングのための理論的収束速度と優れたROC性能を達成する。主な技術的貢献として、新たなPCA摂動バウンドを導出する。

ABSTRACT

Consider a linear model $y = X β+ z$, $z \sim N(0, σ^2 I_n)$. The Gram matrix $Θ= \frac{1}{n} X'X$ is non-sparse, but it is approximately the sum of two components, a low-rank matrix and a sparse matrix, where neither component is known to us. We are interested in the Rare/Weak signal setting where all but a small fraction of the entries of $β$ are nonzero, and the nonzero entries are relatively small individually. The goal is to rank the variables in a way so as to maximize the area under the ROC curve. We propose Factor-adjusted Covariate Assisted Ranking (FA-CAR) as a two-step approach to variable ranking. In the FA-step, we use PCA to reduce the linear model to a new one where the Gram matrix is approximately sparse. In the CAR-step, we rank variables by exploiting the local covariate structures. FA-CAR is easy to use and computationally fast, and it is effective in resolving signal cancellation, a challenge we face in regression models. FA-CAR is related to the recent idea of Covariate Assisted Screening and Estimation (CASE), but two methods are for different goals and are thus very different. We compare the ROC curve of FA-CAR with some other ranking ideas on numerical experiments, and show that FA-CAR has several advantages. Using a Rare/Weak signal model, we derive the convergence rate of the minimum sure-screening model size of FA-CAR. Our theoretical analysis contains several new ingredients, especially a new perturbation bound for PCA.

研究の動機と目的

• 希少で微弱な信号を伴う高次元設定におけるマージナルランク付けの限界を解消すること。
• 予測変数間の高相関が原因となる「信号キャンセル」問題を解消すること。
• 遺伝学的応用などに適した、高速でチューニングフリーかつ計算的に効率的な変数ランク付け手法の開発。
• 希少／微弱信号モデル下での最小確実スクリーニングモデルサイズの理論的収束速度の確立。
• 高次元推論の基盤技術としての新たなPCA摂動バウンドの導入。

提案手法

• FA-CAR手法は二段階のアプローチを採用する：まずPCAを用いて設計行列からの主要因を推定・除去し、グラム行列を近似的にスパースな形に変換する。
• FAステップでは、要因補正後の線形モデルを再表現することで、グラム行列内の高ランク成分の影響を低減する。
• CARステップでは、残差相関を活用して局所的共変動構造に基づいて変数をランク付ける。これにより、信号キャンセルを緩和する。
• 近似的因子モデル下での因子推定誤差を制御するために不可欠な、PCAの新しい摂動バウンドを導出する。
• スパース近隣構造を定義するためのしきい値処理スキームを用い、条件付き独立性に基づく局所的ランク付けを可能にする。
• 理論的分析は、残差共分散行列 $ G_0 $ のスパarsityおよび減衰性に関する仮定に依存し、信号強度は $ \ell_\infty $-ノルム制約でモデル化される。

実験結果

リサーチクエスチョン

• RQ1 希少で微弱な信号、かつ予測変数が高相関を示す高次元線形モデルにおいて、変数ランク付けはどのように改善可能か？
• RQ2 マージナルランク付けと比較して、FA-CAR手法は信号キャンセルをどの程度低減するか？
• RQ3 希少／微弱信号モデル下で、FA-CARの最小確実スクリーニングモデルサイズの理論的収束速度は何か？
• RQ4 ROC分析におけるAUCの観点から、FA-CARの性能は既存のランク付け手法と比べてどうか？
• RQ5 FA-CARの理論的分析を支えるために、特にPCA摂動理論においてどのような新しい技術的ツールが必要か？

主な発見

• 数値実験において、特に高相関と微弱信号の設定下で、マージナルランク付けや他の既存手法と比較してFA-CARは優れたROC性能を達成する。
• 希少／微弱信号モデル下で、最小確実スクリーニングモデルサイズの収束速度が $ O(\log^{-1}(p)) $ であることが示され、強い理論的一貫性を示す。
• 提案されたPCA摂動バウンドは新規であり、因子推定誤差を制御するために不可欠であり、特に要因数がサンプルサイズに比べて少ない場合に顕著に有効である。
• CARステップで局所的共変動構造を活用することで、信号キャンセルが顕著に低減され、真に有益な変数のランク付けが向上する。
• 計算的に効率的であり、チューニングパrameterを必要としないため、大規模なゲノムスクリーニングや高次元スクリーニング応用に実用的である。
• 理論的分析により、個々の信号が微弱でかつ数が少ない状況下でも、FA-CARが真の信号を高パワーで同定できることを確認した。