[論文レビュー] A Nonparametric Normality Test for High-dimensional Data

Hao Chen, Xia Yin|arXiv (Cornell University)|Apr 10, 2019

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、次元数が標本サイズを超過する場合でも、第1種の誤りを漸近的に制御できるように、最近傍距離の情報を活用する非パラメトリックな正規性適合度検定を提案する。この手法は、シミュレーションにおいて優れた検出力と正確な実現サイズを示し、肺がんデータセットでも有効性が検証され、高次元正規性仮定下でも頑健であることが示された。

ABSTRACT

Many statistical methodologies for high-dimensional data assume the population normality. Although a few multivariate normality tests have been proposed, to the best of our knowledge, none of them can properly control the type I error when the dimension is growing with the number of observations. In this work, we propose a novel nonparametric test that utilizes the nearest neighbor information. The proposed method theoretically guarantees the asymptotic type I error control under the high-dimensional setting. Simulation studies verify the empirical size performance of the proposed test when the dimension is larger than the sample size and at the same time exhibit the superior power performance of the new test compared with the alternative methods. We also illustrate our approach through a popularly used lung cancer data set in high-dimensional classification literatures where deviation from the normality assumption may lead to completely invalid conclusion.

研究の動機と目的

• 次元数pが標本サイズnとともに増加する状況でも、適切な第1種の誤りの制御を維持できる正規性適合度検定が不足しているという問題に取り組む。
• 従来のパラメトリック検定が失敗する高次元データに適した非パラメトリック手法を開発する。
• 高次元漸近的枠組み下で、検定の理論的漸近的妥当性を保証する。
• 高次元設定下で、既存の代替手法と比較して検出力を向上させる。

提案手法

• 最近傍距離を用いて多変量正規性の非パラメトリックな指標を構築する。
• 帰無仮説（多変量正規性）下での最近傍距離の間隔の漸近的分布に依存する。
• p > n の状況でも、正しいサイズ制御を維持できるように設計されている。これは高次元データにおける一般的な課題である。
• スケールや位置への感度を低減するために、最近傍距離にランクベースの変換を施す。
• 検定統計量は、正規性下での期待値に対する最近傍距離間隔の経験的分布から構築される。
• 高次元漸近的状況下での漸近的解析を通じて理論的裏付けが提供される。

実験結果

リサーチクエスチョン

• RQ1 次元数pが標本サイズnとともに増加する状況でも、非パラメトリックな正規性適合度検定が、正しい第1種の誤り率を維持できるか？
• RQ2 高次元設定下で、本手法の検出力は既存の多変量正規性検定と比べてどのように異なるか？
• RQ3 p > n の状況下でも、本手法は有効かつ信頼性があるか？（多くの既存手法が失敗する状況）
• RQ4 遺伝子発現データのような実世界の高次元データにおいて、正規性からの逸脱を検出できるか？
• RQ5 実用的な高次元分類応用において、正規性仮定の破れに対しても本手法は頑健であるか？

主な発見

• 提案手法は、次元数が標本サイズを超過する場合でも、第1種の誤りの漸近的制御を達成する。
• シミュレーション結果から、高次元設定下でも正確な実現サイズが確認され、名目水準を維持する点で既存手法を上回っている。
• 特に高次元・小標本の状況下で、他の代替手法と比較して優れた検出力を示している。
• 肺がんデータセットにおいて、本手法は正規性からの顕著な逸脱を検出しており、正規性を不適切に仮定すると誤った結論に至るリスクを浮き彫りにしている。
• さまざまな高次元設定において安定かつ信頼性が保たれ、次元数pの増加に対しても頑健であることが示された。