[論文レビュー] Testing heteroscedasticity for regression models based on projections

Falong Tan, Xuejun Jiang+2 more|arXiv (Cornell University)|Aug 8, 2018

Statistical Methods and Inference参考文献 19被引用数 3

ひとこと要約

本稿では、高次元パラメトリックおよび部分線形回帰モデルにおける不純分散性の検定について、説明変数を1次元の方向に投影することで次元の呪いを克服する投影に基づく検定を提案する。この検定は、投影されたデータ上の残差マークド経験過程を用い、局所代替仮説下で最適な検出レート $ O(1/\sqrt{n}) $ を達成する。また、推論には有効な残差に基づくブートストラップを採用しており、漸近的理論とシミュレーションにより、高次元におけるその頑健性と検出力が確認されている。

ABSTRACT

In this paper we propose a new test of heteroscedasticity for parametric regression models and partial linear regression models in high dimensional settings. When the dimension of covariates is large, existing tests of heteroscedasticity perform badly due to the \curse of dimensionality". To attack this problem, we construct a test of heteroscedasticity by using a projection-based empirical process. We study the asymptotic properties of the test statistic under the null hypothesis and alternative hypotheses. It is shown that the test can detect local alternatives departure from the null hypothesis at the fastest possible rate in hypothesis testing. As the limiting null distribution of the test statistic is not distribution free, we propose a residual-based bootstrap. The validity of the bootstrap approximations is investigated. We present some simulation results to show the finite sample performances of the test. Two real data analyses are conducted for illustration.

研究の動機と目的

• 説明変数の次元が増加するにつれて検出力が低下する既存の不純分散性検定における「次元の呪い」を解消すること。
• 説明変数の数が多い場合でも高い検出力を維持できるパラメトリックおよび部分線形回帰モデルのための検定を開発すること。
• 次元を低減しながら検出感度を保持するため、説明変数を1次元の投影にすることに基づく検定統計量を構築すること。
• 帰無仮説および局所代替仮説の下での漸近的理論を確立し、最適な検出レートを保証すること。
• 帰無分布を近似するための残差に基づくブートストラップ法を提案・検証すること。この方法は漸近的に分布不変ではない。

提案手法

• 説明変数を1次元の方向 $ \alpha \in \mathbb{S}^{p} $ に投影し、$ \alpha^\top Z $ を用いて残差マークド経験過程を構築することで次元を1に低減する。
• 検定統計量は、投影された経験過程の関数として定義され、$ V_n(\alpha,t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \eta_i [I(\alpha^\top Z_i \leq t) - F_\alpha(t)] $ と表される。ここで $ \eta_i = \hat{\varepsilon}_i^2 - \hat{\sigma}^2 $ である。
• 帰無仮説の下で、検定統計量の漸近的正規性が導かれる。これは $ \alpha $ および $ t $ でインデックス付けされたガウス過程への収束を伴う。
• 制限された帰無分布は分布不変ではないため、臨界値の近似に残差に基づくブートストラップを提案する。
• 微小な正則性条件の下で、ブートストラップが有効であることが示され、経験過程およびVCクラスの議論により理論的裏付けが与えられる。
• 指示関数の族 $ \{I(\alpha^\top z \leq t)\} $ がVCクラスであるという事実を活用し、一様収束結果を得る。

実験結果

リサーチクエスチョン

• RQ1 従来の検定が次元の呪いにより失敗する高次元回帰モデルにおいて、不純分散性の検定が高い検出力を維持できるか。
• RQ2 高次元の説明変数を1次元の方向に投影することで、最適レート $ O(1/\sqrt{n}) $ での局所代替仮説の検出感度が保持されるか。
• RQ3 検定統計量の制限的帰無分布は分布不変か。また、ブートストラップ法により有効な臨界値を提供できるか。
• RQ4 有限標本において、既存のノンパラメトリックおよび残差に基づく検定と比較して、サイズと検出力の観点で本検定はどのように異なるか。
• RQ5 本検定は、パラメトリックおよびノンパラメトリック成分を併せ持つ部分線形回帰モデルへ拡張可能か。

主な発見

• 提案された検定は、局所代替仮説を検出するための最速の収束レート $ O(1/\sqrt{n}) $ を達成し、パラメトリックレートに一致し、最適性が確認される。
• 本検定は高次元の説明変数に対して頑健である。これは、1次元の投影に依存するため、高次元空間におけるデータの疎らさの問題を回避するからである。
• 検定統計量の制限的帰無分布は分布不変ではないため、臨界値の近似に残差に基づくブートストラップが必要となる。
• ブートストラップ手順は理論的に裏付けられており、一般的な正則性条件の下で有効であることが示され、有限標本におけるサイズ制御の正確性が保証される。
• シミュレーションにより、説明変数の数が大きくても本検定は良好なサイズと検出力を維持することが示され、既存の手法を高次元設定で上回ることが確認された。
• 2つの実データ解析により、複雑な回帰モデルにおける不純分散性の検出において、本検定の実用的有用性が裏付けられた。