[論文レビュー] Nonuniformity of P-values Can Occur Early in Diverging Dimensions

Yingying Fan, Emre Demirkaya+1 more|arXiv (Cornell University)|May 10, 2017

Advanced Statistical Methods and Models参考文献 17被引用数 14

ひとこと要約

この論文は、一般化線形モデル（GLMs）における従来のp値が、以前に考えられていたよりもはるかに早期に非一様かつ無効になることを示している。具体的には、次元 $ p $ が $ n^{2/3} $ の割合で増加する段階で、$ p \sim n $ の場合に限らない。著者らは理論的分析とシミュレーションを通じて、非線形モデルにおいても、次元が発散する際のMLEの漸近正規性が、ガウス型デザインのもとでも、高次元極限における固有の分布的不整合性により崩壊することを示している。

ABSTRACT

Evaluating the joint significance of covariates is of fundamental importance in a wide range of applications. To this end, p-values are frequently employed and produced by algorithms that are powered by classical large-sample asymptotic theory. It is well known that the conventional p-values in Gaussian linear model are valid even when the dimensionality is a non-vanishing fraction of the sample size, but can break down when the design matrix becomes singular in higher dimensions or when the error distribution deviates from Gaussianity. A natural question is when the conventional p-values in generalized linear models become invalid in diverging dimensions. We establish that such a breakdown can occur early in nonlinear models. Our theoretical characterizations are confirmed by simulation studies.

研究の動機と目的

• 無限大への次元 $ p \to \infty $ が $ n \to \infty $ とともに発散する状況下で、一般化線形モデル（GLMs）における従来のp値の妥当性を調査すること。
• 非線形モデル（例：ロジスティック回帰）におけるp値の妥当性の崩壊が、$ p \sim n $ で知られている線形モデルよりも早期に発生するかどうかを特定すること。
• ガウス型デザインのもとでも、$ \alpha_0 \geq 2/3 $ の場合に $ p \sim n^{\alpha_0} $ となる高次元において、GLMsにおける最尤推定量（MLE）の漸近正規性が失敗することを形式的に確立すること。
• 高次元の漸近的枠組みにおいて、MLEの分散推定量の漸近的挙動に見られる一見矛盾する振る舞いを、確率的行列理論と分布的恒等式を用いて解消すること。
• 特に、古典的漸近理論が失敗する非線形設定において、GLMsにおけるp値の非一様性の理論的根拠を提供すること。

提案手法

• 高次元的枠組み $ p \sim n^{\alpha_0} $ におけるGLMsにおけるMLEの漸近的分布の理論的分析を、$ \alpha_0 \in [2/3, 1) $ の範囲で実施。$ n^{-1}\mathbf{X}^T\mathbf{X} $ の固有値挙動を分析するため、確率的行列理論（RMT）を用いる。
• ロジスティック回帰における全帰無仮説（$ \boldsymbol{\beta}_0 = \mathbf{0} $）のもとでのMLEの極限分布を導出。$ n^{1/2}\widehat{\beta}_j \to N(0,1) $ が成り立つのは $ p = o(n^{1/2}) $ の場合に限ることを示す。
• 一般の非球面的デザインを、i.i.d. ガウス型デザイン（$ \mathbf{X} \sim N(\mathbf{0}, I_n \otimes I_p) $）のケースに還元するため、$ \widetilde{\boldsymbol{\beta}} = \mathbf{\Sigma}^{1/2}\boldsymbol{\beta} $ を用いた変数変換を適用する。
• 分布的恒等式と集中不等式を用いて、$ p \sim n^{\alpha_0} $ で $ \alpha_0 \geq 2/3 $ の場合に、MLEの漸近的分散推定量が不一致となることを示し、これによりp値が無効になることを示す。
• 背理法による証明：$ \alpha_0 \geq 2/3 $ の場合に $ p \sim n^{\alpha_0} $ で漸近正規性が成立すると仮定すると、$ \mathbb{R}^p $ における分布的恒等式に矛盾する収束速度が生じ、MLEの分散推定量の収束速度が不一致になる。
• 理論的結果を実証的に確認するためのシミュレーションスタディ。$ p \sim n^{2/3} $ の場合に、p値が非一様であり、第1種の過誤率が上昇することを示す。

実験結果

リサーチクエスチョン

• RQ1 発散次元の下で、一般化線形モデルにおける従来のp値が無効になる次元の閾値は何か？
• RQ2 非線形モデル（例：ロジスティック回帰）におけるp値の妥当性の崩壊は、$ p \sim n $ で知られている線形モデルよりも早期に発生するか？
• RQ3 ガウス型デザインのもとでも、$ \alpha_0 \geq 2/3 $ の場合に $ p \sim n^{\alpha_0} $ となる高次元において、GLMsにおけるMLEの漸近正規性は依然として有効か？
• RQ4 高次元GLMsにおける従来のp値の失敗の原因は何か？具体的には、分散推定量の不一致か、MLEの漸近正規性の崩壊のどちらに起因するか？
• RQ5 高次元の漸近的枠組みにおいて、MLEの分散推定量の収束速度の矛盾を形式的に解消できるか？

主な発見

• GLMsにおける従来のp値は、$ p \sim n^{\alpha_0} $ で $ \alpha_0 \geq 2/3 $ の場合、ガウス型デザインおよび全帰無仮説のもとでも、非一様かつ無効になる。
• MLEの漸近正規性の崩壊は $ p \sim n^{2/3} $ で発生するが、これは線形モデルで観察された $ p \sim n $ の閾値よりも早期である。
• $ p \sim n^{\alpha_0} $ で $ \alpha_0 \geq 2/3 $ の場合、MLEの分散推定量の収束速度が消滅しなくなり、漸近正規性の要件を満たさなくなる。
• 矛盾は、不一致な収束速度に起因する：一方の速度は $ O_P(n^{-(1-\alpha_0)/2}) $ で消滅するが、他方は $ O_P(n^{3\alpha_0/2 - 1}) $ で発散するため、$ \mathbb{R}^p $ における分布的恒等式が破られる。
• シミュレーションスタディにより、$ p \sim n^{2/3} $ の場合にp値が非一様であり、反保守的であることが確認され、第1種の過誤率が上昇していることが示された。
• 失敗の根本的要因は、設計行列がi.i.d. ガウス型であっても、高次元極限におけるフィッシャー情報行列と対数尤度のヘッセ行列の内在的不整合性に起因する。