[논문 리뷰] Predictive Correlation Screening: Application to Two-stage Predictor Design in High Dimension

Hamed Firouzi, Bala Rajaratnam외 1명|arXiv (Cornell University)|2013. 03. 10.

Gene expression and cancer classification참고 문헌 17인용 수 14

한 줄 요약

이 논문은 두 단계 예측자 설계에서 고차원 선형 회귀에 대해 확장 가능하고 거짓 양성 제어 기반의 변수 선택 방법인 예측 상관 스크리닝(Predictive Correlation Screening, PCS)을 소개한다. 예측자와 반응 변수 간의 이분형 상관 그래프를 활용하여, 첫 번째 단계에서 저비용으로 정보가 풍부한 변수를 선택하고, LASSO 및 상관 학습보다 더 뛰어난 예측 정확도와 더 낮은 평균제곱오차(MSE)를 달성한다. 특히 표본 수가 적고 p ≫ n 조건에서 뛰어난 성능을 보인다.

ABSTRACT

We introduce a new approach to variable selection, called Predictive Correlation Screening, for predictor design. Predictive Correlation Screening (PCS) implements false positive control on the selected variables, is well suited to small sample sizes, and is scalable to high dimensions. We establish asymptotic bounds for Familywise Error Rate (FWER), and resultant mean square error of a linear predictor on the selected variables. We apply Predictive Correlation Screening to the following two-stage predictor design problem. An experimenter wants to learn a multivariate predictor of gene expressions based on successive biological samples assayed on mRNA arrays. She assays the whole genome on a few samples and from these assays she selects a small number of variables using Predictive Correlation Screening. To reduce assay cost, she subsequently assays only the selected variables on the remaining samples, to learn the predictor coefficients. We show superiority of Predictive Correlation Screening relative to LASSO and correlation learning (sometimes popularly referred to in the literature as marginal regression or simple thresholding) in terms of performance and computational complexity.

연구 동기 및 목표

• p ≫ n 조건에서 전통적인 방법(예: LASSO)이 높은 계산 비용을 유발하는 고차원, 과소정의 선형 회귀 문제를 해결한다.
• 작은 표본, 고차원 설정에서 높은 예측 정확도를 유지하면서도 거짓 발견률을 통제하는 확장 가능한 변수 선택 방법을 개발한다.
• 초기 단계에서 몇 개의 고비용 샘플을 사용해 변수를 선별하고, 이후 추가적인 저비용 샘플을 활용해 계수를 추정함으로써 분석 비용을 절감하는 두 단계 예측자 프레임워크를 설계한다.
• 선택된 예측자에 대해 가족 전체 오류율(FWER)과 평균제곱오차(MSE)의 이론적 경계를 설정한다.
• 유전자 발현 및 증상 점수와 같은 실제 생물학적 데이터에서 PCS가 LASSO 및 상관 학습보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 예측자 변수 X_j와 반응자 변수 Y_k 간의 이분형 그래프를 구성하며, 임계값 처리된 최소 노름 회귀 계수 a_jk가 0이 아닐 경우에만 간선을 설정한다.
• 예측자 간 상관관계를 반영하기 위해 의사역행렬 상관행렬을 사용하여 단순 상관 임계값보다 더 정확한 변수 선택을 향상시킨다.
• 최소 노름 회귀 계수에 임계값 처리 규칙을 적용하여 변수를 선별하며, 포isson 유사 극한 정리에 기반해 거짓 양성 수를 제어한다.
• 두 단계 설계를 구현: 첫 번째로, PCS를 사용해 몇몇 고비용 샘플에서 변수의 소수를 선별하고, 두 번째로 추가적인 저비용 샘플에서 선별된 변수만을 사용해 전체 예측자 추정을 수행한다.
• 응답 유형에 따라 두 번째 단계에서 OLS 또는 다항로지스틱 회귀를 적용한다(연속형 또는 이산형 반응 변수일 경우).
• 몬테카를로 시뮬레이션과 이론적 분석을 활용해 FWER와 MSE의 渐近 경계를 유도하며, 표본 수 증가에 따라 오류 확률이 지수적으로 감소함을 보였다.

실험 결과

연구 질문

• RQ1 확장 가능하고 계산 비용이 낮은 변수 선택 방법을 개발할 수 있는가? 이는 고차원, 소표본 설정(p ≫ n)에서 거짓 발견률을 제어할 수 있어야 하며, 계산 비용이 낮아야 한다.
• RQ2 예측 상관 스크리닝(PCS)이 LASSO 및 상관 학습에 비해 예측 정확도와 계산 복잡도 측면에서 어떻게 비교되는가?
• RQ3 첫 번째 단계 샘플 수(n)와 최적의 OLS 예측자 진짜 지원 집합을 정확히 복구할 확률 사이의 이론적 관계는 무엇인가?
• RQ4 비용이 분석 변수 수에 따라 선형적으로 증가할 때, 두 단계 PCS 프레임워크가 MSE 측면에서 거의 오라클 성능을 달성하는가?
• RQ5 PCS에서 거짓 발견 확률의 단계 전이 임계값은 무엇이며, 소규모 n과 대규모 p 조건에서 어떻게 행동하는가?

주요 결과

• PCS는 거짓 발견 수에 대해 포isson 유사 극한을 보이며, 이는 소규모 n과 대규모 p 조건에서도 정확한 FWER 근사가 가능함을 의미한다.
• 이론적 분석 결과, n = O(log p)의 첫 번째 단계 샘플 수로도 PCS가 최적의 OLS 예측자 진짜 지원 집합을 높은 확률로 복구할 수 있음을 보였다.
• p = 10^4 및 q = 1 조건의 시뮬레이션에서 PCS는 LASSO 및 상관 학습보다 더 낮은 평균제곱오차(MSE)를 기록했으며, 오라클 OLS 예측자 성능에 가까워졌다.
• 실제 유전자 발현 데이터(38명의 대상자)에서 PCS는 LASSO보다 평균 MSE를 13% 감소시켰다(0.3036 vs. 0.3482), 기침 및 호흡 곤란과 같은 증상에서 뚜렷한 향상이 있었다.
• 몬테카를로 시뮬레이션을 통해 FWER가 첫 번째 단계 샘플 수 n 증가에 따라 최소 지수적으로 감소함을 확인했으며, 이는 이론적 경계의 타당성을 뒷받침한다.
• 비용이 분석 변수 수에 따라 선형적으로 증가할 경우, 최적의 첫 번째 단계 샘플 수 n은 log p 수준이므로, 두 단계 설계가 비용 효율적임을 보였다.