[논문 리뷰] Ultrahigh dimensional variable selection: beyond the linear model

Jianqing Fan, Samworth, Richard외 1명|ArXiv.org|2008. 12. 17.

Statistical Methods and Inference참고 문헌 34인용 수 32

한 줄 요약

이 논문은 선형 모형을 초월하여 초고차원 변수 선택을 위한 일반화된 반복적 확률 독립 걸러내기(ISIS) 방법을 제안한다. 이는 가짜우도 접근법을 통해 일반화선형모형과 강건한 회귀로 프레임워크를 확장한다. 이는 반복 과정 중 변수 제거를 허용함으로써 기존 방법보다 향상된 성능을 보이며, 거짓 발견률을 낮추고 실제 데이터에서 더 적은 예측 변수로 뛰어난 분류 성능을 달성한다. 특히, SRBCT 유전자 발현 데이터셋에서 ISIS는 오직 15개의 유전자만 선택하여 테스트 오차가 0이 되었다.

ABSTRACT

Variable selection in high-dimensional space characterizes many contemporary problems in scientific discovery and decision making. Many frequently-used techniques are based on independence screening; examples include correlation ranking (Fan and Lv, 2008) or feature selection using a two-sample t-test in high-dimensional classification (Tibshirani et al., 2003). Within the context of the linear model, Fan and Lv (2008)showed that this simple correlation ranking possesses a sure independence screening property under certain conditions and that its revision, called iteratively sure independent screening (ISIS), is needed when the features are marginally unrelated but jointly related to the response variable. In this paper, we extend ISIS, without explicit definition of residuals, to a general pseudo-likelihood framework, which includes generalized linear models as a special case. Even in the least-squares setting, the new method improves ISIS by allowing variable deletion in the iterative process. Our technique allows us to select important features in high-dimensional classification where the popularly used two-sample t-method fails. A new technique is introduced to reduce the false discovery rate in the feature screening stage. Several simulated and two real data examples are presented to illustrate the methodology.

연구 동기 및 목표

• 현대 통계학적 학습에서 p >> n 인 초고차원 변수 선택 문제를 다루기 위해, 기존 방법들이 계산적·통계적 비효율성으로 인해 실패하는 상황을 해결한다.
• 확률 독립 걸러내기(SIS) 및 반복적 SIS(ISIS) 프레임워크를 선형 모형을 초월하여 일반화선형모형과 강건한 회귀로 확장하기 위해 가짜우도 프레임워크를 사용한다.
• 마진별 상관계수가 오해의 소지가 있는 경우에 유의미한 변수 선택 정확도를 향상시키기 위해 반복 걸러내기 과정 중 변수 제거를 허용함으로써 ISIS를 개선한다.
• 초기 걸러내기 단계에서 거짓 발견률을 낮추기 위해 새로운 기법을 도입함으로써 고차원 분류에서의 신뢰성을 향상시킨다.
• 실제 데이터, 특히 유전자 발현 분류에서의 효과를 입증한다. 이는 최소한의 예측 변수로도 높은 정확도를 달성한다.

제안 방법

• 이 방법은 ISIS를 가짜우도 프레임워크로 일반화하여, 명시적 잔차가 필요 없이 일반화선형모형과 강건한 회귀에 적용할 수 있도록 한다.
• 반복적 걸러내기 방법을 사용하며, 각 단계에서 작업 잔차와 가장 상관도가 높은 예측 변수를 선택하고, 적합된 모형을 사용해 잔차를 갱신한다.
• 반복 과정 중에 이전에 선택되었지만 중요하지 않은 변수들을 제거함으로써, 모델의 안정성과 정확도를 향상시킨다.
• 단순한 마진별 상관계수를 초월한 선택 기준을 개선함으로써, 걸러내기 단계에서의 거짓 발견률을 낮추기 위한 새로운 기법을 도입한다.
• 이 방법은 두 단계로 적용된다: 첫째, 반복적 걸러내기를 통해 차원을 p에서 d ≈ n/log n 으로 감소시킨다; 둘째, 감소된 집합에 대해 펜라이즈드 우도 방법(예: SCAD)을 적용한다.
• 이 방법은 시뮬레이션과 실제 데이터 응용(예: SRBCT 유전자 발현 데이터셋 및 마이크로어레이 데이터를 이용한 성별 분류)을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 ISIS 프레임워크는 선형 모형을 초월하여 일반화선형모형과 강건한 회귀를 다룰 수 있는가?
• RQ2 반복적 걸러내기 과정 중 변수 제거를 허용함으로써, 기존 ISIS보다 선택 정확도가 향상되는가?
• RQ3 새로운 걸러내기 기법을 통해 초고차원 특징 선택에서 거짓 발견률을 낮출 수 있는가?
• RQ4 실제 데이터에서 LASSO와 NSC와 비교해 본다면, 제안된 방법의 분류 정확도와 희소성 측면에서 어떤가?
• RQ5 고차원 분류에서 기존 방법보다 훨씬 적은 예측 변수로 0%의 테스트 오차를 달성할 수 있는가?

주요 결과

• 제안된 일반화된 ISIS 방법은 SRBCT 유전자 발현 데이터셋에서 오직 15개의 예측 변수만을 사용하여 테스트 오차가 0이 되었으며, LASSO(71개 유전자)와 NSC(343개 유전자)를 모두 뛰어넘었다.
• 성별 분류 데이터셋에서, 이 방법은 높은 정확도로 핵심 프로브를 성공적으로 식별했으며, var2-ISIS는 14개의 유전자를 선택한 반면 ISIS는 15개를 선택하여 모두 LASSO와 NSC보다 희소성 측면에서 뛰어났다.
• 개선된 선택 기준을 통해 걸러내기 단계에서의 거짓 발견률을 낮추어 고차원 환경에서의 신뢰성을 향상시켰다.
• 반복 과정 중 변수 제거를 허용함으로써, 상호의존성으로 인해 마진별 상관계수가 오해의 소지가 있는 경우에 기존 ISIS보다 우수한 성능을 보였다.
• 일반화된 ISIS 프레임워크는 비선형 및 비정규 분포 모형, 즉 일반화선형모형과 강건한 회귀에까지 확률 걸러내기의 적용 가능성을 넓혔다.
• 시뮬레이션과 실제 데이터에서, 이 방법은 높은 통계적 검정력을 유지하면서도 뛰어난 계산 효율성과 모델 안정성을 확보했다.