[論文レビュー] Predictive Correlation Screening: Application to Two-stage Predictor Design in High Dimension

Hamed Firouzi, Bala Rajaratnam+1 more|arXiv (Cornell University)|Mar 10, 2013

Gene expression and cancer classification参考文献 17被引用数 14

ひとこと要約

本稿では、2段階の予測子設計における高次元線形回帰のスケーラブルで、誤検出率を制御する変数選択手法 Predictive Correlation Screening (PCS) を提案する。予測子と応答の間の二部グラフを活用することで、第一段階で計算コストを低く抑えながら情報量の多い変数を選択し、特に小標本サイズおよび高次元 p ≫ n の設定下で、LASSO や相関学習と比較して優れた予測精度と低い MSE を達成する。

ABSTRACT

We introduce a new approach to variable selection, called Predictive Correlation Screening, for predictor design. Predictive Correlation Screening (PCS) implements false positive control on the selected variables, is well suited to small sample sizes, and is scalable to high dimensions. We establish asymptotic bounds for Familywise Error Rate (FWER), and resultant mean square error of a linear predictor on the selected variables. We apply Predictive Correlation Screening to the following two-stage predictor design problem. An experimenter wants to learn a multivariate predictor of gene expressions based on successive biological samples assayed on mRNA arrays. She assays the whole genome on a few samples and from these assays she selects a small number of variables using Predictive Correlation Screening. To reduce assay cost, she subsequently assays only the selected variables on the remaining samples, to learn the predictor coefficients. We show superiority of Predictive Correlation Screening relative to LASSO and correlation learning (sometimes popularly referred to in the literature as marginal regression or simple thresholding) in terms of performance and computational complexity.

研究の動機と目的

• p ≫ n であり、従来の手法（例：LASSO）が高い計算コストを要する高次元で未定義の線形回帰の課題に対処すること。
• 小標本・高次元設定下でも、誤発見率を制御しながら高い予測精度を維持するスケーラブルな変数選択手法を開発すること。
• 最初に少数の高コストのサンプルで変数をスクリーニングし、その後に追加の低コストのサンプルで係数を推定することで、アッセイコストを削減する2段階の予測子フレームワークを設計すること。
• 選択された予測子に関する家族誤り率（FWER）および平均二乗誤差（MSE）の理論的境界を確立すること。
• 合成データおよび生物学的実データ（遺伝子発現および症状スコア）において、PCS が LASSO や相関学習を上回ることを実証すること。

提案手法

• 予測子変数 X_j と応答変数 Y_k の間の二部グラフを構築し、しきい値を適用した最小ノルム回帰係数 a_jk が非ゼロである場合に辺を設ける。
• 予測子間の相関を組み込むために疑似逆行列相関行列を用い、単純な相関しきい値よりも高い選択精度を実現する。
• 最小ノルム回帰係数にしきい値ルールを適用して変数スクリーニングを実施し、ポisson に類似した極限定理を用いて誤検出の制御を保証する。
• 2段階設計を実装：第一に、PCS を用いて少数の高コストのサンプル上で小さな変数サブセットを選択し、第二に、追加の安価なサンプル上で選択された変数のみを用いて完全な予測子を推定する。
• 応答変数の種類に応じて第二段階で OLS または多項ロジスティック回帰を適用する（連続的または離散的）。
• モンテカルロシミュレーションと理論的解析を活用し、FWER および MSE の漸近的境界を導出し、サンプルサイズが増加するにつれて誤差確率が指数関数的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元・小標本設定（p ≫ n）において、計算コストを低く抑えつつ誤発見率を制御できるスケーラブルな変数選択手法を開発可能か？
• RQ2 予測精度および計算複雑度の観点から、Predictive Correlation Screening (PCS) は LASSO や相関学習と比べてどのように異なるか？
• RQ3 第一段階のサンプル数 n と、最適 OLS 予測子の真のサポート集合を正しく回復する確率との理論的関係は何か？
• RQ4 コストがアッセイ対象変数の数に線形に比例する場合、2段階 PCS フレームワークは MSE においてほぼオラクル性能を達成できるか？
• RQ5 PCS における誤検出確率のフェーズ遷移閾値は何か？また、n が小さく p が大きい条件下でその挙動はいかなるか？

主な発見

• PCS は誤検出数にポisson に類似した極限定理を達成し、小標本かつ高次元設定下でも FWER の正確な近似が可能になる。
• 理論的解析により、n = O(log p) の第一段階サンプル数があれば、PCS が最適 OLS 予測子の真のサポート集合を高確率で回復できることを示した。
• p = 10^4 および q = 1 のシミュレーションにおいて、PCS は LASSO や相関学習よりも低い平均二乗誤差（MSE）を達成し、オラクル OLS 予測子の性能に近づいた。
• 実際の遺伝子発現データ（38名の被験者）では、PCS は LASSO と比較して平均 MSE を 13% 減少（0.3036 対 0.3482）し、咳や呼吸困難などの症状において顕著な改善を示した。
• モンテカルロシミュレーションにより、FWER が第一段階のサンプル数 n の増加に伴い少なくとも指数関数的に減少することが確認され、理論的境界の妥当性が裏付けられた。
• コストがアッセイ対象変数の数に線形に比例する場合、最適な第一段階サンプル数 n は log p のオーダーにあり、2段階設計が費用対効果に優れていることが示された。