[논문 리뷰] Decorrelation of Covariates for High Dimensional Sparse Regression

Jianqing Fan, Yuan Ke외 1명|arXiv (Cornell University)|2016. 12. 27.

Statistical Methods and Inference참고 문헌 17인용 수 8

한 줄 요약

이 논문은 공변량 상관관계 하에서 모델 선택 일致성을 달성하기 위해 잠재 요인을 개별 성분과 분리함으로써 상관관계가 있는 예측변수를 약하게 상관관계가 있는 것으로 변환하는 인자 조정 분리(Factor Adjusted Decorrelation, FAD) 방법을 제안한다. FAD는 온건한 조건 하에서 일관된 모델 선택과 최적 수렴 속도를 달성하며, 유한 표본에서 뛰어난 성능과 다양한 상관관계 환경에서의 유연성을 보인다.

ABSTRACT

This paper studies the model selection consistency for high dimensional sparse regression with correlated covariates for a general class of regularized $M$ estimators. The commonly-used model selection methods fail to consistently recover the true model when the covariates are not weakly correlated. This paper proposes a consistent model selection strategy named Factor Adjusted Decorrelation (FAD) for high dimensional sparse regression when the covariate dependence can be reduced through factor models. By separating the latent factors from idiosyncratic components, we transform the problem from model selection with highly correlated covariates to that with weakly correlated variables. We show that FAD can achieve model selection consistency as well as optimal rates of convergence under mild conditions. Numerical studies show FAD has nice finite sample performance in terms of both models selection and out-of-sample prediction. Moreover, FAD is a flexible method in a sense that it pays no price for weakly correlated and uncorrelated cases. The proposed method is applicable to a wide range of high dimensional sparse regression.

연구 동기 및 목표

• 공변량이 강하게 상관관계가 있을 때 표준 모델 선택 방법이 실패하는 문제를 해결하기 위해.
• 공변량이 강한 의존성을 보일 때에도 효과적인 일관된 모델 선택 전략을 개발하기 위해.
• 공변량 내 잠재적 공통 요인의 영향을 개별 성분과의 분리로 줄이기 위해.
• 온건한 규칙성 조건 하에서 모델 선택 일관성과 최적 수렴 속도를 달성하기 위해.
• 공변량이 약하게 상관관계가 있거나 상관관계가 없을 경우에도 방법이 효과적이고 효율적으로 유지되도록 하기 위해.

제안 방법

• FAD는 공변량 행렬을 저랭크 인자 성분과 잔차 개별 성분으로 분해하기 위해 인자 모델을 적용한다.
• 주성분 분석 또는 유사 기법을 사용하여 공변량으로부터 잠재 요인과 하중을 추정한다.
• 공통 요인 영향을 제거한 후, 남은 개별 성분을 정규화된 M-추정기로 사용하여 모델 선택을 수행한다.
• 서로 약하게 상관관계가 있는 것으로 간주되는 분리된 변수들에 대해 모델 선택을 수행함으로써 일관된 선택이 가능해진다.
• 변환된 변수들에 대해 정규화된 M-추정기를 활용하여 희박성과 일관성을 달성한다.
• 이 방법은 약하거나 상관관계가 없는 공변량에 대해 페널티를 부과하지 않아, 이러한 경우에도 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 공변량이 강하게 상관관계가 있을 때 고차원 희박 회귀에서 모델 선택 일관성이 달성될 수 있는가?
• RQ2 공변량 내 잠재적 공통 요인을 효과적으로 분리하여 의존성을 줄일 수 있는가?
• RQ3 제안된 FAD 방법이 온건한 규칙성 조건 하에서도 일관성과 최적 수렴 속도를 유지하는가?
• RQ4 유한 표본에서 FAD는 기존 방법에 비해 모델 선택 및 예측 성능 측면에서 어떻게 성능을 발휘하는가?
• RQ5 공변량이 약하게 상관관계가 있거나 상관관계가 없을 경우 방법이 강건하고 효율적인가?

주요 결과

• FAD는 공변량이 강하게 상관관계가 있을 때조차도 고차원 희박 회귀에서 모델 선택 일관성을 달성한다.
• 인자 및 오차 구조에 대한 온건한 규칙성 조건 하에서 최적 수렴 속도를 확보한다.
• 수치적 연구 결과는 모델 선택 정확도와 외부 표본 예측에서 뛰어난 유한 표본 성능을 입증한다.
• 약한 상관관계 또는 상관관계가 없는 설정에서도 페널티 없이 효율성과 일관성을 유지한다.
• 인자 조정을 통한 변환은 의존성을 성공적으로 감소시켜, 분리된 변수들에 대한 일관된 선택을 가능하게 한다.
• 이 방법은 다양한 고차원 희박 회귀 모델에 널리 적용 가능하다.