[논문 리뷰] False Variable Selection Rates in Regression

Max G’Sell, Trevor Hastie외 1명|arXiv (Cornell University)|2013. 02. 10.

Statistical Methods and Inference참고 문헌 14인용 수 9

한 줄 요약

이 논문은 예측 변수 간 상관관계가 존재할 경우 기존의 잘못된 발견률(FDR)이 비직관적인 행동을 보이는 문제를 다루기 위해 회귀 분석에서 변수 선택을 위한 새로운 오차 기준인 가짜 변수 비율(FVR)을 제안한다. FVR은 선택된 변수에 대한 투영을 통해 정의되며, 고차원이고 상관관계가 있는 설정에서 더 직관적인 제어를 가능하게 한다. 단계적 회귀 추정기법은 시뮬레이션과 이론적 분석을 통해 검증되었다.

ABSTRACT

There has been recent interest in extending the ideas of False Discovery Rates (FDR) to variable selection in regression settings. Traditionally the FDR in these settings has been defined in terms of the coefficients of the full regression model. Recent papers have struggled with controlling this quantity when the predictors are correlated. This paper shows that this full model definition of FDR suffers from unintuitive and potentially undesirable behavior in the presence of correlated predictors. We propose a new false selection error criterion, the False Variable Rate (FVR), that avoids these problems and behaves in a more intuitive manner. We discuss the behavior of this criterion and how it compares with the traditional FDR, as well as presenting guidelines for determining which is appropriate in a particular setting. Finally, we present a simple estimation procedure for FVR in stepwise variable selection. We analyze the performance of this estimator and draw connections to recent estimators in the literature.

연구 동기 및 목표

• 예측 변수 간 상관관계가 존재할 경우 기존의 잘못된 발견률(FDR)이 비직관적인 행동을 보이는 이유를 해결한다.
• 상관관계 하에서 전체 모형에서 영계수를 기반으로 한 잘못된 선택 정의의 한계를 규명한다.
• 선택된 변수에 대한 모형 투영에 기반한 새로운 오차 기준인 가짜 변수 비율(FVR)을 제안한다.
• 고차원이고 상관관계가 있는 설정에서 FVR이 더 직관적이고 안정적인 오차 제어를 제공함을 보여준다.
• 단계적 변수 선택 절차에서 FVR을 위한 실용적인 추정기법을 개발하고 분석한다.

제안 방법

• 선택된 집합 $\mathcal{A}$ 에 대한 투영 모형에서 계수값이 0인 선택된 변수의 비율로 가짜 변수 비율(FVP)을 정의한다.
• FVP의 기대값으로서 가짜 변수 비율(FVR)을 정의하며, 전체 모형 기반 FDR 정의를 대체한다.
• 증분 가설 검정에서 진정한 귀무가설 수를 추정하기 위해 임계값 기반 추정기 $\hat{V}_k^{(\lambda)} = \frac{\#\{p_j > \lambda; j \leq k\}}{1 - \lambda}$ 를 제안한다.
• 추정기의 최소 기대값으로부터의 평균 제곱편차를 최소화하는 방식으로 부트스트랩 기반 튜닝을 통해 $\lambda$ 를 선택한다.
• 변수 순서가 FVR 추정에 미치는 영향을 분석하며, 단계적 선택 경로가 최소한의 편향을 갖는 이상적인 순서에 가까운 것을 보여준다.
• 변수가 잘못된 순서로 배치될 경우 FVR 추정의 편향이 하향적임을 증명하지만, 시뮬레이션 결과 단계적 선택 경로가 낮은 편향을 유도함을 확인한다.

실험 결과

연구 질문

• RQ1 왜 예측 변수 간 상관관계가 존재할 경우 기존의 FDR 정의가 비직관적인 행동을 보이는가?
• RQ2 상관관계가 있는 예측 변수가 존재하는 환경에서 더 안정적이고 해석 가능한 오차 기준을 어떻게 정의할 수 있는가?
• RQ3 상관관계가 있는 설계 행렬 하에서 제안된 FVR 기준은 FDR과 비교해 어떻게 행동하는가?
• RQ4 단계적 선택 절차에 대해 신뢰할 수 있고 계산이 단순한 FVR 추정기법을 어떻게 구성할 수 있는가?
• RQ5 FVR 추정기의 변수 순서에 대한 민감도는 어떻게 되며, 단계적 선택이 근사적으로 최적의 순서를 생성함을 어떻게 입증할 수 있는가?

주요 결과

• 전체 모형 기반 FDR 정의는 예측 변수 간 상관관계가 존재할 경우 부가적인 변수와 진짜로 영계수를 가진 변수를 구분하지 못해 비직관적인 행동을 보인다.
• 선택된 모형에 대한 투영에 기반한 제안된 FVR 기준은 상관관계가 있는 설정에서 선택된 변수의 진정한 유의성에 더 잘 반영된다.
• 임계값 기반 p-값 방법을 통한 FVR 추정은 진정한 귀무가설 수의 하한을 제공하며, 합리적인 순서 가정 하에서 강건하다.
• 변수 순서가 최적일 경우 FVR 추정의 편향은 하향적일 수 있으나, 시뮬레이션 결과 단계적 선택 경로가 이 편향을 최소화하는 순서를 생성함을 확인하였다.
• 단계적 경로가 가장 가까운 이상적인 순서에 가까운 것으로 가정할 경우 FVR 추정기는 일관성을 보이며, 노이즈 변수에 의한 최소한의 왜곡을 겪는다.
• FVR 프레임워크는 고차원이고 상관관계가 있는 예측 변수를 가진 회귀 분석에서 FDR보다 더 직관적이고 안정적인 대안을 제공한다.