[논문 리뷰] Variable importance and model selection by decorrelation

Verena Zuber, Korbinian Strimmer|arXiv (Cornell University)|2010. 07. 30.

Gene expression and cancer classification참고 문헌 26인용 수 11

한 줄 요약

이 논문은 선형 회귀에서 상관관계가 높은 예측변수를 효과적으로 처리하기 위해 마할라노비스 분해를 사용하는 새로운 변수 중요도 기준인 CAR 점수를 제안한다. 이 기준은 상관관계가 높은 변수들을 그룹화하고 상반되는 변수들에 의한 간섭을 줄여주며, 엘라스틱 넷과 부스팅과 같은 현대적 방법들보다 변수 선택에서 뛰어난 예측 정확도와 최적의 진양성/진음성 비율을 보인다. 시뮬레이션 및 실제 유전체 데이터에서 검증되었다.

ABSTRACT

Variable selection is a difficult problem that is particularly challenging in the analysis of high-dimensional genomic data. Here, we introduce the CAR score, a novel and highly effective criterion for variable ranking in linear regression based on Mahalanobis-decorrelation of the explanatory variables. The CAR score provides a canonical ordering that encourages grouping of correlated predictors and down-weights antagonistic variables. It decomposes the proportion of variance explained and it is an intermediate between marginal correlation and the standardized regression coefficient. As a population quantity, any preferred inference scheme can be applied for its estimation. Using simulations we demonstrate that variable selection by CAR scores is very effective and yields prediction errors and true and false positive rates that compare favorably with modern regression techniques such as elastic net and boosting. We illustrate our approach by analyzing data concerned with diabetes progression and with the effect of aging on gene expression in the human brain. The R package care implementing CAR score regression is available from CRAN.

연구 동기 및 목표

• 예측변수가 상관관계가 높은 고차원 유전체 데이터에서 변수 선택 문제를 해결한다.
• 상관관계가 높거나 상반되는 예측변수에 의한 간섭을 줄여 변수 순위를 향상시키는 기준을 개발한다.
• 모집단 수준의 변수 중요도 측정 기준을 제공하여, 다양한 선형 추정 방법을 활용해 추정할 수 있도록 한다.
• CAR 점수 기반 선택이 엘라스틱 넷과 부스팅과 같은 최신 기법들보다 더 낮은 예측 오차와 더 나은 진양성/진음성 비율을 달성함을 보여준다.
• 당뇨병 진행 및 뇌 노화 유전자 발현과 같은 실제 생물학적 데이터셋에서 방법의 효과성을 입증한다.

제안 방법

• 설명변수의 마할라노비스 분해 기반 변수 중요도 측정 기준인 CAR 점수를 제안한다.
• 마할라노비스 변환을 사용해 예측변수를 분해하여 상관관계가 높은 변수들을 그룹화하는 표준 순서를 도입한다.
• CAR 점수를 순수 상관관계와 표준화된 회귀계수 사이의 중간 기준으로 정의하여, 개별 및 공동 효과를 모두 반영한다.
• 분해된 프레임워크를 사용해 각 예측변수가 설명하는 분산의 비율을 분해하여 개별 기여도를 평가한다.
• 일致한 추정 절차를 사용해 표본 데이터로부터 CAR 점수를 추정함으로써 다양한 데이터 유형에 유연하게 적용할 수 있도록 한다.
• 실제 응용을 위해 CRAN에 배포된 R 패키지 'care'에 이 방법을 구현하여 고차원 선형 회귀에서의 실용적 활용을 지원한다.

실험 결과

연구 질문

• RQ1 예측변수가 상당히 상관관계가 높은 고차원 선형 회귀에서 변수 중요도는 어떻게 향상시킬 수 있는가?
• RQ2 분해기반 기준은 변수 선택에서 상반되는 변수의 부정적 영향을 줄일 수 있는가?
• RQ3 CAR 점수는 순수 상관관계나 표준화된 회귀계수보다 더 정확하고 안정적인 예측변수 순위를 제공하는가?
• RQ4 CAR 점수 기반 변수 선택은 엘라스틱 넷과 부스팅과 같은 현대적 기법들에 비해 예측 오차와 선택 정확도 측면에서 어떻게 비교되는가?
• RQ5 CAR 점수는 당뇨병이나 뇌 노화와 같은 복잡한 생물학적 데이터셋에서 관련 유전자를 효과적으로 식별할 수 있는가?

주요 결과

• CAR 점수는 마할라노비스 변환을 통해 예측변수를 분해함으로써 상관관계가 높은 변수들을 효과적으로 그룹화하여 변수 순위 간섭을 줄인다.
• 시뮬레이션 결과, CAR 점수 기반 선택은 엘라스틱 넷과 부스팅보다 낮은 예측 오차와 더 나은 진양성/진음성 비율을 달성했다.
• CAR 점수는 순수 상관관계와 표준화된 회귀계수 사이의 자연스러운 다리 역할을 하여 더 균형 잡힌 변수 중요도 측정 기준을 제공한다.
• 실제 데이터에서 뛰어난 성능을 보였으며, 당뇨병 진행 및 뇌 노화 유전자 발현 연구에서 생물학적으로 관련성이 있는 예측변수를 성공적으로 식별했다.
• R 패키지 'care'는 CAR 점수 회귀의 실용적 구현을 가능하게 하여 고차원 유전체 데이터의 재현 가능하고 확장 가능한 분석을 지원한다.