[논문 리뷰] Stepwise Choice of Covariates in High Dimensional Regression

Laurie Davies|arXiv (Cornell University)|2016. 10. 17.

Statistical Methods and Inference참고 문헌 11인용 수 3

한 줄 요약

이 논문은 고차원 선형 모델에 대한 모델에 의존하지 않는 단계적 회귀 방법을 제안한다. 이 방법은 실제 공변량의 잔차 제곱합 감소량을 표준 정규 잡음과 비교하여 공변량을 선택한다. 정규 분포를 기반으로 정확한 p-값을 도출함으로써 정규화, 교차검증, 오차 분산 추정 없이도 유의성 검정을 수행하며, 일致성과 lasso보다 향상된 성능을 보인다.

ABSTRACT

Given data y(n) and p(n)covariates x(n) one problem in linear regression is to decide which if any of the covariates to include. There are many articles on this problem but all are based on a stochastic model for the data. This paper gives what seems to be a new approach which does not require any form of model. It is conceptually and algorithmically simple and consistency results can be proved under appropriate assumptions.

연구 동기 및 목표

• 고차원 선형 회귀에서 확률 모델이나 오차 분산 추정에 의존하지 않는 공변량 선택 방법을 개발하는 것.
• 정규화나 교차검증이 필요로 하는 기존 방법들(예: lasso)에 대한 계산이 단순하고 불변인 대안을 제공하는 것.
• 실제 공변량과 i.i.d. 정규 잡음을 잔차 감소 측면에서 비교하여 유의성 검정 프레임워크를 구축하는 것.
• 정확한 p-값이 제공되지 않는 경우 카이제곱 분포 기반 근사치를 사용하여 이론적 확장 가능성을 고려한 비선형 및 강건한 회귀로의 확장.
• 고차원 설정에서 일관성과 개선된 거짓 발견률 제어 성능을 입증하는 것.

제안 방법

• 이 방법은 실제 공변량보다 더 큰 잔차 제곱합 감소량을 보일 수 있는 랜덤 정규 공변량의 확률을 계산하며, 이는 잡음 하에서 잔차 감소의 정확한 분포를 기반으로 한다.
• 정확한 분포 $ SS_{\nu} \stackrel{D}{=} ss_0(1 - B_{1/2, (n - \nu_0 - 1)/2}) $ 를 사용하여 p-값을 계산한다. 여기서 $ B_{a,b} $ 는 베타 랜덤 변수이다.
• 새로운 공변량을 포함할 경우의 p-값은 $ \mathbf{P}(SS_{01} \leq ss_{01}) = 1 - \text{pbeta}(1 - ss_{01}/ss_0, 1/2, (n - \nu_0 - 1)/2)^{q(n) - \nu_0} $ 로 주어진다.
• 정지 기준은 이 p-값을 역으로 적용하여 유도된다: $ ss_{01} > ss_0 \left(1 - \text{qbeta}((1 - \alpha)^{1/(q(n) - \nu_0)}, 1/2, (n - \nu_0 - 1)/2) \right) $.
• 이 방법은 애핀 변환과 공변량 순서의 순열에 대해 불변이며, 다중 검정 문제를 피하기 위해 공동 확률 $ \prod_{j=1}^{\nu} (1 - p_j) $ 를 사용한다.
• 비선형 및 강건한 회귀의 경우 정확한 p-값이 제공되지 않을 경우 카이제곱 분포 기반 근사치를 사용한다.

실험 결과

연구 질문

• RQ1 고차원 회귀에서 선형 모델을 가정하거나 오차 분산을 추정하지 않고도 공변량 선택을 수행할 수 있는가?
• RQ2 실제 공변량보다 더 큰 잔차 제곱합 감소량을 보일 수 있는 랜덤 정규 공변량의 정확한 확률은 얼마인가?
• RQ3 정규화나 교차검증 없이도 일관성 있고 안정적인 단계적 선택 절차를 어떻게 구성할 수 있는가?
• RQ4 고차원 설정에서 이 방법은 lasso보다 거짓 발견률을 더 잘 제어하는가?
• RQ5 최소한의 가정으로 비선형 및 강건한 회귀로의 확장이 가능한가?

주요 결과

• 적절한 정규성 조건 하에서 고차원 선형 회귀에서 이 방법은 오차 분산 추정 없이도 일관성을 확보한다.
• 공변량 포함에 대한 정확한 p-값은 이전의 카이제곱 근사치를 대체하는 베타 분포를 기반으로 유도된다.
• n=72, q(n)=3571 인 백혈병 데이터셋에서, 이 방법은 lasso보다 더 적은 거짓 양성률로 관련 유전자를 정확히 식별했다.
• 그래프 모델 복원에서 1747개의 진짜 간선 중 1109개가 복원되었고, 오직 두 개의 거짓 양성률만 기록되어 lasso 기반 방법을 능가했다.
• 시뮬레이션 결과로 이 방법은 고차원 설정에서도 낮은 거짓 발견률과 lasso보다 뛰어난 간선 복원 성능을 유지함을 입증했다.
• 점근적 정지 기준은 $ ss_{01} > ss_0 \left(1 - \frac{2\log q(n) - \log\log q(n) - 2\log(-\log(1 - \alpha))}{n} \right) $ 로 주어지며, 이는 모델에 의존하지 않는 임계값을 제공한다.