[論文レビュー] Overcoming the inconsistences of the variance inflation factor: a redefined VIF and a test to detect statistical troubling multicollinearity

Román Salmerón Gómez, Catalina Beatriz García García+1 more|arXiv (Cornell University)|May 5, 2020

Advanced Statistical Methods and Models被引用数 19

ひとこと要約

本稿では、標本サイズ、誤差分散、変数スケーリングを考慮した再定義された分散拡大係数（TVIF）を提案し、OLS推定における推論を実際に損なう多重共線性を統計的に根拠のある方法で検出するためのテストを提供する。従来のVIFとは異なり、TVIFは切片を含み、再定義された直交基準モデルを用いるため、多重共線性が実際の問題を引き起こすかどうかを閾値ベースの統計的仮説検定によって判断可能となり、単なる数学的存在ではなく、実証的問題性を評価できる。

ABSTRACT

Multicollinearity is relevant to many different fields where linear regression models are applied, and its existence may affect the analysis of ordinary least squares (OLS) estimators from both the numerical and statistical points of views. Thus, multicollinearity can lead to incoherence in the statistical significance of the independent variables and the global significance of the model. The variance inflation factor (VIF) is traditionally applied to diagnose the possible existence of multicollinearity, but it is not always the case that detection by VIF of a troubling degree of multicollinearity corresponds to negative effects on the statistical analysis. The reason for the lack of specificity of VIF is that there are other factors, such as the size of the sample and the variance of the random disturbance, that can lead to high values of the VIF but not to problematic variance in the OLS estimators (see O'Brien 2007). This paper presents a new variance inflation factor (TVIF) that consider all these additional factors. Thresholds for this new measure and from the index provided by Stewart (1987) are also provided. These thresholds are reinterpreted and presented as a new statistical test to diagnose the existence of statistical troubling multicollinearity. The contributions of this paper are illustrated with two real data examples previously applied in the scientific literature.

研究の動機と目的

• 従来のVIFが、実際に統計的推論を損なう多重共線性を特定する際に一貫性に欠ける問題を解消すること。
• 標本サイズや誤差分散といった混同要因の影響を受けるため、高いVIF値であってもOLSの分散が拡大しない場合があるという問題を解消すること。
• 検出された多重共線性が係数の有意性検定に実際に影響を与えるかどうかを判断する新しい統計的仮説検定を開発すること。
• QR分解を用いてVIFの基準点を再定義し、より現実的な直交モデルを構築することで、指標の特異性を向上させること。
• TVIFとスターリングの指標の解釈可能な閾値を提供し、数値的に高いだけでない、統計的に深刻な多重共線性を示す基準を提示すること。

提案手法

• 設計行列のQR分解を用いて、従来の切片を無視し固定誤差分散を仮定する直交化手法に代わる、より適切な直交基準モデルを生成することで、VIFを再定義した。
• 各説明変数を他の変数で回帰する補助回帰の残差平方和の逆数として、新しい指標TVIF(i)を定義し、分析に切片を組み込んだ。
• t分布の上側両側検定の臨界値、仮説係数値、および係数の推定分散を用いて、以下の式で統計的仮説検定の閾値を確立した：TVIF(i) > [t(n−k, 1−α/2) / β̂_i,o]² × var(β̂_i)。
• スターリングの指標(S²_i)をTVIFと各予測変数の平方和の関数として再解釈し、切片を含む非本質的多重共線性の検出を可能にした。
• 標本サイズ、誤差分散、係数推定値に依存する新しいTVIFおよびスターリングの指標の閾値を提示し、実際の統計的混乱を反映するようにした。
• 観測値と導出された臨界閾値を比較することで、多重共線性が「問題を引き起こす」かどうか、すなわち誤った推論を引き起こすかどうかを判断する形式的な統計的仮説検定を構築した。

実験結果

リサーチクエスチョン

• RQ1 従来のVIFは、OLS回帰モデルにおける統計的推論を実際に損なう多重共線性を信頼性を持って検出できるか？
• RQ2 標本サイズ、誤差分散、変数スケーリングを考慮した再定義されたVIF（TVIF）を構築できるか？
• RQ3 数値的に高い多重共線性と、実際に係数の有意性に影響を与える多重共線性を区別できる統計的仮説検定を構築できるか？
• RQ4 多重共線性検出に切片を含めることで、モデルの信頼性評価がどのように向上するか？
• RQ5 TVIFおよびスターリングの指標の新しい閾値は、従来のVIF > 10という基準よりも、より正確で実証的意味を持つ基準を提供するか？

主な発見

• 従来のVIFは、標本サイズや誤差分散といった混同要因の影響を受けるため、OLSの分散を拡大する多重共線性と拡大しない多重共線性を区別できない。
• 提案されたTVIFは、QR分解を用いて直交基準モデルを再定義し、実際のモデル条件下での現実的な分散拡大の下限を反映する。
• TVIF値は、補助回帰の残差平方和の逆数として導出され、係数検定の統計的パワーと直接関連している。
• 新しい統計的仮説検定は、t分布の臨界値と係数推定値を用い、多重共線性が統計的に深刻かどうかを判断する。閾値は標本サイズと効果量に依存する。
• スターリングの指標(S²_i)は、切片を含む非本質的多重共線性の検出に有効な指標として再解釈され、その閾値も統計的有意性に紐づけられた。
• 本稿は、TVIFおよびスターリングの指標の実証的根拠に基づく閾値を提供し、多重共線性が誤った推論を引き起こす可能性があるかどうかを示す基準を提示し、計量経済学的診断分野における長年の空白を解消した。