[논문 리뷰] Overcoming the inconsistences of the variance inflation factor: a redefined VIF and a test to detect statistical troubling multicollinearity

Román Salmerón Gómez, Catalina Beatriz García García외 1명|arXiv (Cornell University)|2020. 05. 05.

Advanced Statistical Methods and Models인용 수 19

한 줄 요약

이 논문은 표본 크기, 오차 분산, 변수 스케일링을 고려한 재정의된 분산 확대 계수(TVIF)를 제안하며, 이는 OLS 추론에 실제로 영향을 미치는 다중공선성을 통계적으로 근거 있는 방법으로 탐지할 수 있도록 한다. 기존 VIF와 달리 TVIF는 절편을 포함하고, 재정의된 직교 기준 모형을 사용함으로써 다중공선성이 실제로 문제를 일으킬지 여부를 임계값 기반의 통계적 검정으로 판단할 수 있도록 한다. 이는 단지 수학적으로 존재하는 다중공선성에 그치지 않고 실제 영향을 미치는지를 구분한다.

ABSTRACT

Multicollinearity is relevant to many different fields where linear regression models are applied, and its existence may affect the analysis of ordinary least squares (OLS) estimators from both the numerical and statistical points of views. Thus, multicollinearity can lead to incoherence in the statistical significance of the independent variables and the global significance of the model. The variance inflation factor (VIF) is traditionally applied to diagnose the possible existence of multicollinearity, but it is not always the case that detection by VIF of a troubling degree of multicollinearity corresponds to negative effects on the statistical analysis. The reason for the lack of specificity of VIF is that there are other factors, such as the size of the sample and the variance of the random disturbance, that can lead to high values of the VIF but not to problematic variance in the OLS estimators (see O'Brien 2007). This paper presents a new variance inflation factor (TVIF) that consider all these additional factors. Thresholds for this new measure and from the index provided by Stewart (1987) are also provided. These thresholds are reinterpreted and presented as a new statistical test to diagnose the existence of statistical troubling multicollinearity. The contributions of this paper are illustrated with two real data examples previously applied in the scientific literature.

연구 동기 및 목표

• 기존 VIF가 통계적 추론에 실제로 해를 끼치는 다중공선성을 식별하는 데 일관성 없음을 해결하기 위해.
• 표본 크기와 오차 분산 등의 혼란 요인으로 인해 높은 VIF 값이 항상 OLS 분산을 증가시키지 않는 문제를 해결하기 위해.
• 검출된 다중공선성이 계수의 유의성 검정에 실제로 영향을 미치는지 여부를 판단할 수 있는 새로운 통계적 검정을 개발하기 위해.
• QR 분해를 사용하여 VIF의 기준점을 재정의함으로써 더 현실적인 직교 모형을 만들고, 측정의 정밀도를 향상시키기 위해.
• TVIF와 스타우트 지표에 대해 다중공선성이 실제로 통계적으로 문제를 일으킬 수 있는지 판단할 수 있는 해석 가능한 임계값을 제공하기 위해.

제안 방법

• 설계 행렬의 QR 분해를 통해 기존의 절편을 忽略하고 오차 분산을 고정한다고 가정하는 전통적인 직교화 방식을 대체할 수 있는 새로운 더 적절한 직교 기준 모형을 생성하기 위해 VIF를 재정의하였다.
• 새로운 측정치인 TVIF(i)를 각 독립변수를 나머지 변수들에 대해 보조 회귀분석한 잔차 제곱합의 역수로 정의하였으며, 분석에 절편을 포함시켰다.
• t-분포의 임계값, 가설적 계수 값, 계수의 추정 분산을 사용한 공식을 통해 통계적 검정의 임계값을 설정하였다: TVIF(i) > [t(n−k, 1−α/2) / β̂_i,o]² × var(β̂_i).
• 스타우트 지표(S²_i)를 TVIF와 각 예측변수의 제곱합의 함수로 재정의하여 절편을 포함하는 비필수적 다중공선성을 탐지할 수 있도록 하였다.
• 표본 크기, 오차 분산, 계수 추정치에 따라 조건부로 설정된 TVIF와 스타우트 지표의 새로운 임계값을 제시하여 실제 통계적 영향을 반영하도록 하였다.
• 관측값을 유도된 임계값과 비교하여 다중공선성이 실제로 '문제를 일으키는'지 여부를 판단할 수 있는 공식적인 통계적 검정을 제안하였다.

실험 결과

연구 질문

• RQ1 기존 VIF는 OLS 회귀 모형에서 실제로 통계적 추론에 영향을 미치는 다중공선성을 신뢰성 있게 탐지할 수 있는가?
• RQ2 표본 크기, 오차 분산, 변수 스케일링을 고려한 재정의된 VIF(TVIF)를 구성할 수 있는가?
• RQ3 다중공선성이 수치적으로 높은 것과 실제로 계수의 유의성에 영향을 미치는 것을 구분할 수 있는 통계적 검정을 개발할 수 있는가?
• RQ4 다중공선성 탐지에 절편을 포함시키는 것이 모형 신뢰도 평가에 어떻게 기여하는가?
• RQ5 TVIF와 스타우트 지표의 새로운 임계값은 기존의 VIF > 10 기준보다 더 정확하고 실증적으로 의미 있는 기준을 제공하는가?

주요 결과

• 기존 VIF는 표본 크기와 오차 분산 등의 혼란 요인으로 인해 OLS 분산을 증가시키는 다중공선성와 그렇지 않은 다중공선성을 구분하지 못한다.
• 제안된 TVIF는 QR 분해를 통해 기존의 직교 기준 모형을 재정의하여 실제 모형 조건 하에서의 실질적 분산 증가를 반영하는 하한선을 제공한다.
• TVIF 값은 보조 회귀분석의 잔차 제곱합의 역수로부터 유도되며, 계수 검정의 통계적 검정력과 직접적으로 연결되어 있다.
• 새로운 통계적 검정은 t-분포의 임계값과 계수 추정치를 사용하여 다중공선성이 실제로 통계적으로 문제를 일으키는지 판단하며, 임계값은 표본 크기와 효과 크기에 따라 달라진다.
• 스타우트 지표(S²_i)는 절편을 포함하는 비필수적 다중공선성을 탐지할 수 있는 타당한 측정치로 재정의되었으며, 그 임계값은 이제 통계적 유의성과 연결되어 있다.
• 논문은 TVIF와 스타우트 지표에 대해 실증적으로 기반을 둔 임계값을 제시하여 다중공선성이 잘못된 추론을 유발할 가능성이 있는지 신호를 제공하며, 오랫동안 존재해온 계량경제학 진단의 격차를 해소한다.