[論文レビュー] The Likelihood Ratio Test in High-Dimensional Logistic Regression Is Asymptotically a Rescaled Chi-Square

Pragya Sur, Yuxin Chen+1 more|arXiv (Cornell University)|Jun 5, 2017

Random Matrices and Applications被引用数 6

ひとこと要約

本稿は、予測子の数 $ p $ がサンプルサイズ $ n $ の無視できない割合を占める高次元ロジスティック回帰（つまり、$ p/n \to \kappa < 1/2 $）において、尤度比検定（LRT）統計量 $ 2\Lambda $ が標準の $ \chi^2_k $ ではなく、スケーリング係数 $ \alpha(\kappa) > 1 $ を持つ修正された $ \chi^2_k $ に分布収束することを確立している。このスケーリング係数 $ \alpha(\kappa) $ は次元比 $ \kappa $ に依存し、非線形方程式系を用いて計算可能であり、標準のカイ二乗近似が反保守的 p 値を生じさせるのを是正する。

ABSTRACT

Logistic regression is used thousands of times a day to fit data, predict future outcomes, and assess the statistical significance of explanatory variables. When used for the purpose of statistical inference, logistic models produce p-values for the regression coefficients by using an approximation to the distribution of the likelihood-ratio test. Indeed, Wilks' theorem asserts that whenever we have a fixed number $p$ of variables, twice the log-likelihood ratio (LLR) $2\\Lambda$ is distributed as a $\\chi^2_k$ variable in the limit of large sample sizes $n$; here, $k$ is the number of variables being tested. In this paper, we prove that when $p$ is not negligible compared to $n$, Wilks' theorem does not hold and that the chi-square approximation is grossly incorrect; in fact, this approximation produces p-values that are far too small (under the null hypothesis). Assume that $n$ and $p$ grow large in such a way that $p/n\ ightarrow\\kappa$ for some constant $\\kappa &lt; 1/2$. We prove that for a class of logistic models, the LLR converges to a rescaled chi-square, namely, $2\\Lambda~\\stackrel{\\mathrm{d}}{\ ightarrow}~\\alpha(\\kappa)\\chi_k^2$, where the scaling factor $\\alpha(\\kappa)$ is greater than one as soon as the dimensionality ratio $\\kappa$ is positive. Hence, the LLR is larger than classically assumed. For instance, when $\\kappa=0.3$, $\\alpha(\\kappa)\\approx1.5$. In general, we show how to compute the scaling factor by solving a nonlinear system of two equations with two unknowns. Our mathematical arguments are involved and use techniques from approximate message passing theory, non-asymptotic random matrix theory and convex geometry. We also complement our mathematical study by showing that the new limiting distribution is accurate for finite sample sizes. Finally, all the results from this paper extend to some other regression models such as the probit regression model.

研究の動機と目的

• 予測子数 $ p $ がサンプルサイズ $ n $ と同程度の高次元ロジスティック回帰において、ウィルクスの定理の有効性を調査すること。
• $ p/n \to \kappa < 1/2 $ の場合における尤度比検定（LRT）統計量の漸近的分布を特定すること。
• 高次元において反保守的となる p 値を生じる標準カイ二乗近似を是正すること。
• スケーリング係数 $ \alpha(\kappa) $ を計算するための手法を提供すること。この係数は極限分布を特徴付ける。

提案手法

• 高次元ロジスティックモデルにおける最尤推定の挙動を分析するために、近似メッセージパッシング（AMP）理論を用いる。
• 非漸近的ランダム行列理論の道具を用いて、LRT 統計量の極限分布を研究する。
• 凸幾何学的手法を用いて、パラメータ空間および尤度関数の幾何構造を分析する。
• スケーリング係数 $ \alpha(\kappa) $ を求めるために、2つの未知数を含む非線形方程式系を導出する。
• 1つずつ除外する分析（leave-one-out）と濃度不等式を用いて、推定誤差を制御し、収束速度を導出する。
• 有限標本シミュレーションを通じて理論的結果の妥当性を検証し、中程度の $ n $ および $ p $ に対してもスケーリングされたカイ二乗近似が正確であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰において、予測子数 $ p $ がサンプルサイズ $ n $ の無視できない割合を占める場合、ウィルクスの定理は成り立つか？
• RQ2 高次元ロジスティック回帰における尤度比検定統計量 $ 2\Lambda $ の極限分布は何か？
• RQ3 カイ二乗分布をスケーリングする係数 $ \alpha(\kappa) $ は、次元比 $ \kappa = p/n $ にどのように依存するか？
• RQ4 標準カイ二乗近似を $ \alpha(\kappa) > 1 $ を持つスケーリングされたカイ二乗分布に置き換えることで、p 値の近似を是正できるか？
• RQ5 提案された極限分布は、漸近的ではなく有限標本サイズに対しても正確か？

主な発見

• 尤度比検定統計量 $ 2\Lambda $ は、$ \kappa > 0 $ であれば常に $ \alpha(\kappa) > 1 $ である $ \alpha(\kappa)\chi^2_k $ に分布収束する。これは標準カイ二乗近似が無効であることを示している。
• $ \kappa = 0.3 $ の場合、スケーリング係数は約 $ \alpha(0.3) \approx 1.5 $ であり、LRT 統計量は標準カイ二乗が予測する値より50%大きくなる。
• スケーリング係数 $ \alpha(\kappa) $ は、AMP およびランダム行列理論から導出された非線形方程式系を解くことで計算可能である。
• 標準カイ二乗近似は、帰無仮説下で p 値を小さくし、高次元設定では反保守的推論を引き起こす。
• スケーリングされたカイ二乗近似は、有限標本サイズに対しても正確であることが、シミュレーション研究で確認された。
• これらの結果はプロビット回帰など他のモデルにも拡張可能であり、現象がロジスティック回帰に特有のものではないことを示している。