[論文レビュー] Goodness of fit tests for high-dimensional models

Rajen D. Shah, Peter Bühlmann|arXiv (Cornell University)|Nov 10, 2015

Statistical Methods and Inference参考文献 28被引用数 3

ひとこと要約

本稿では、低次元および高次元線形モデルにおける適合度検定のための統一的枠組みである残差予測（RP）検定を提案する。OLS や Lasso のフィットからのスケーリングされた残差を用いて予測誤差を検定統計量として回帰し、臨界値にはシミュレーションまたはパラメトリックブートストラップを活用することで、異分散性や非線形性などのモデル不適合を効果的に検出可能であり、変数の有意性検定において最先端の手法を凌駕する。

ABSTRACT

In this work we propose a framework for constructing goodness of fit tests in both low and high-dimensional linear models. We advocate applying regression methods to the scaled residuals following either an ordinary least squares or Lasso fit to the data, and using some proxy for prediction error as the final test statistic. We call this family Residual Prediction (RP) tests. We show that simulation can be used to obtain the critical values for such tests in the low-dimensional setting, and demonstrate using both theoretical results and extensive numerical studies that some form of the parametric bootstrap can do the same when the high-dimensional linear model is under consideration. We show that RP tests can be used to test for significance of groups or individual variables as special cases, and here they compare favourably with state of the art methods, but we also argue that they can be designed to test for as diverse model misspecifications as heteroscedasticity and different types of nonlinearity. 1

研究の動機と目的

• 低次元および高次元線形モデルに適用可能な適合度検定の統一的枠組みの構築を目的とする。
• 予測子の数が標本サイズを上回る状況において、有効な仮説検定を構築する課題に対処することを目的とする。
• 変数の有意性検定にとどまらず、異分散性や非線形性を含む多様なモデル不適合の検出を可能とすることを目的とする。
• シミュレーションまたはパラメトリックブートストラップを用いて、臨界値推定のための計算的に実行可能な手法を提供することを目的とする。
• 高次元設定における個々の変数またはグループ化された変数の有意性を検定する際、既存の手法を凌駕することを目的とする。

提案手法

• 線形モデルに通常最小二乗法またはLassoを適用し、スケーリングされた残差を計算する。
• 設計行列に対するこれらのスケーリングされた残差の回帰を、検定統計量を構築するためのコアステップとして用いる。
• 残差回帰からの予測誤差を最終的な検定統計量として用いる。
• 低次元設定では、シミュレーションを用いて臨界値を取得する。
• 高次元設定では、パラメトリックブートストラップを用いて臨界値を推定する。
• 異分散性や非線形性を含む多様なモデル違反に対して感受性を持つように検定を設計する。

実験結果

リサーチクエスチョン

• RQ1 低次元および高次元線形モデルにおける適合度検定のための統一的枠組みを開発可能か？
• RQ2 従来の手法が失敗する高次元設定において、検定統計量の臨界値を信頼性高く計算する方法は何か？
• RQ3 RP検定は、変数の有意性検定にとどまらず、非線形性や異分散性をどの程度検出可能か？
• RQ4 既存の最先端手法と比較して、RP検定のパワーとサイズはどのように異なるか？
• RQ5 残差回帰からの予測誤差を検定統計量として用いることで、高次元モデルにおいて有効かつ強力な推論が可能か？

主な発見

• シミュレーション研究において、RP検定は個々の変数またはグループ変数の有意性検定において、適切なサイズ制御と良好なパワーを達成しており、最先端の手法を上回る。
• 高次元設定では、パラメトリックブートストラップが正確な臨界値を提供し、信頼性の高い推論を可能にする。
• この枠組みは、標準的な有意性検定にとどまらず、異分散性や非線形性といった多様なモデル不適合の検出に対しても柔軟性を有する。
• シミュレーション研究により、低次元設定ではシミュレーションによる臨界値が有効であることが確認された。
• 残差回帰からの予測誤差を検定統計量として用いることで、頑健で解釈可能な検定手順が得られる。
• 本手法は、さまざまなモデル構成や誤差構造において、強固な実証的性能を維持する。