[논문 리뷰] Variable Selection for Highly Correlated Predictors

Fei Xue, Annie Qu|arXiv (Cornell University)|2017. 09. 14.

Statistical Methods and Inference참고 문헌 39인용 수 8

한 줄 요약

이 논문은 고도로 상관관계가 있는 예측 변수 간의 상관관계 영향을 줄이면서 계수 크기를 유지함으로써 다중공선성 상황에서도 일관된 변수 선택을 가능하게 하는 새로운 변수 선택 방법인 Semi-standard PArtial Covariance (SPAC)를 제안한다. SPAC-Lasso는 저차원 및 고차원 설정 모두에서 부호 일관성을 확보하며, 시뮬레이션과 HapMap 유전자 데이터 분석에서 Lasso, 적응형 Lasso, SCAD, PC-simple를 모두 능가한다.

ABSTRACT

Penalty-based variable selection methods are powerful in selecting relevant covariates and estimating coefficients simultaneously. However, variable selection could fail to be consistent when covariates are highly correlated. The partial correlation approach has been adopted to solve the problem with correlated covariates. Nevertheless, the restrictive range of partial correlation is not effective for capturing signal strength for relevant covariates. In this paper, we propose a new Semi-standard PArtial Covariance (SPAC) which is able to reduce correlation effects from other predictors while incorporating the magnitude of coefficients. The proposed SPAC variable selection facilitates choosing covariates which have direct association with the response variable, via utilizing dependency among covariates. We show that the proposed method with the Lasso penalty (SPAC-Lasso) enjoys strong sign consistency in both finite-dimensional and high-dimensional settings under regularity conditions. Simulation studies and the `HapMap' gene data application show that the proposed method outperforms the traditional Lasso, adaptive Lasso, SCAD, and Peter-Clark-simple (PC-simple) methods for highly correlated predictors.

연구 동기 및 목표

• 예측 변수가 고도로 상관관계가 있을 경우 기존의 페널티 기반 방법이 관련 변수 선택에 실패하는 문제를 해결하기 위해.
• 부분상관계가 관련 설정에서 신호 강도를 포착하는 데 제한을 두는 문제를 극복하기 위해.
• 예측 변수 간의 종속성 구조를 활용하여 반응 변수와 직접 연관이 있는 공변량을 식별할 수 있는 방법을 개발하기 위해.
• 유한 차원 및 고차원 설정 모두에서 변수 선택의 부호 일관성을 보장하기 위해.
• 강한 예측 변수 상관관계를 보이는 실제 유전체 데이터(예: HapMap 유전자 데이터)에서 성능을 향상시키기 위해.

제안 방법

• 다른 예측 변수로부터의 상관관계 영향을 줄이고 계수 크기를 포함시키는 변환인 Semi-standard PArtial Covariance (SPAC)를 제안한다.
• SPAC 변환된 예측 변수에 Lasso 페널티를 적용하여 동시에 변수 선택과 계수 추정이 가능한 SPAC-Lasso를 도입한다.
• 예측 변수 간의 종속성 구조를 활용하여 반응 변수와의 직접 연관성을 분리한다.
• 유한 차원 및 고차원 설정에서 SPAC-Lasso의 이론적 일관성을 확립하기 위해 규칙성 조건을 사용한다.
• 부분공분산 개념을 활용하지만, 고전적 부분상관계수의 제한된 범위를 초월하여 신호 강도를 유지하도록 확장한다.
• 척도 불변성과 계수 크기의 해석 가능성 향상을 위해 표준화 단계를 도입한다.

실험 결과

연구 질문

• RQ1 예측 변수가 고도로 상관관계가 있을 경우 변수 선택 방법이 부호 일관성을 유지할 수 있는가?
• RQ2 SPAC-Lasso는 다중공선성이 높은 상황에서 Lasso, 적응형 Lasso, SCAD, PC-simple와 같은 전통적 방법보다 관련 변수 선택에 더 뛰어난가?
• RQ3 SPAC는 부분상관계수가 실패하는 상관관계가 높은 예측 변수에서 신호 강도를 효과적으로 포착할 수 있는가?
• RQ4 표준 규칙성 조건 하에 SPAC-Lasso는 유한 차원 및 고차원 설정 모두에서 일관성 있는가?
• RQ5 SPAC-Lasso는 강한 연합불균형도(LD)를 보이는 실제 유전체 데이터(예: HapMap 데이터)에서 어떻게 성능을 발휘하는가?

주요 결과

• SPAC-Lasso는 규칙성 조건 하에 유한 차원 및 고차원 설정 모두에서 부호 일관성을 확보하여 정확한 변수 선택을 보장한다.
• 고다중공선성 하에서 시뮬레이션 연구에서 전통적 Lasso, 적응형 Lasso, SCAD, PC-simple보다 우수한 성능을 보였다.
• 연합불균형도로 인해 강한 상관관계를 보이는 HapMap 유전자 데이터셋에서 관련 예측 변수를 식별하는 데 뛰어난 성능을 보였다.
• SPAC 방법은 상관관계 영향을 효과적으로 줄이면서도 계수 크기를 유지하여 반응 변수와의 직접 연관성을 더 잘 탐지할 수 있도록 했다.
• 이론적 분석을 통해 SPAC-Lasso가 예측 변수가 고도로 상관관계가 있을 경우에도 일관성을 유지함을 확인하였으며, 표준 페널티 방법의 핵심 한계를 극복하였다.
• 실증 결과는 SPAC-Lasso가 부분상관계수 기반 및 표준 페널라이제이션 방법에 비해 변수 선택 정확도와 신호 탐지 능력을 향상시킴을 보여주었다.