[論文レビュー] Remember the Curse of Dimensionality: The Case of Goodness-of-Fit Testing in Arbitrary Dimension

Ery Arias-Castro, Bruno Pelletier+1 more|arXiv (Cornell University)|Jul 27, 2016

Statistical Methods and Inference参考文献 29被引用数 20

ひとこと要約

本稿は、単位超立方体上での Hölder スムーズ密度のクラスにおいて、任意次元における $L^2$ 距離下での二標本適合度検定のミニマックスレートを確立し、典型的な次元の Curse of Dimensionality を明らかにした。最適なビン分割を用いたカイ二乗検定がこのミニマックスレートを達成できることを示し、未知の滑らかさおよび内在次元に適応可能なマルチスケール拡張により、その性能を保ったまま適応可能であることを示した。

ABSTRACT

Despite a substantial literature on nonparametric two-sample goodness-of-fit testing in arbitrary dimensions spanning decades, there is no mention there of any curse of dimensionality. Only more recently Ramdas et al. (2015) have discussed this issue in the context of kernel methods by showing that their performance degrades with the dimension even when the underlying distributions are isotropic Gaussians. We take a minimax perspective and follow in the footsteps of Ingster (1987) to derive the minimax rate in arbitrary dimension when the discrepancy is measured in the L2 metric. That rate is revealed to be nonparametric and exhibit a prototypical curse of dimensionality. We further extend Ingster's work to show that the chi-squared test achieves the minimax rate. Moreover, we show that the test can be made to work when the distributions have support of low intrinsic dimension. Finally, inspired by Ingster (2000), we consider a multiscale version of the chi-square test which can adapt to unknown smoothness and/or unknown intrinsic dimensionality without much loss in power.

研究の動機と目的

• 任意次元における非パラメトリックな二標本適合度検定の根本的統計的限界を特定すること。
• 高次元検定において次元の Curse が存在しないという文献における混乱を解消すること。
• Ingster のミニマックス理論を一次元から任意次元へ、Hölder スムーズ密度の下で拡張すること。
• $L^2$ 偏差下でカイ二乗検定がミニマックスレートを達成することを示すこと。
• 未知の滑らかさおよび内在次元に適応可能であり、顕著なパワー損失なしに性能を維持できるマルチスケールカイ二乗検定の開発

提案手法

• 単位超立方体上での Hölder クラスの密度に対する $L^2$ 距離下での検定の最適レートを導出するミニマックスフレームワークを採用する。
• 漸近的でない解析を用いてミニマックスリスクの下界を導出し、レートが次元および滑らかさに依存することを示す。
• ビンサイズを $1/\kappa$ とし、$\kappa \sim m^{2/(4s+d)}$ に設定したカイ二乗検定を構築し、ミニマックスレートを達成する。
• サポートの内在次元が低い場合であっても、ビン分割を適切に調整すればカイ二乗検定がミニマックス最適性を維持することを証明する。
• 複数のビン分割スケールにおける結果を統合するマルチスケール版カイ二乗検定を導入し、未知の滑らかさおよび内在次元に適応可能にする。
• 関数解析的手法、特にカーネル作用素および多項式近似を用いて、代替仮説下での検定統計量の $L^2$ ノルムを制御する。

実験結果

リサーチクエスチョン

• RQ1 任意次元における二標本適合度検定のミニマックスレートは、$L^2$ 距離下でどのように定まるか？
• RQ2 高次元設定下でカイ二乗検定はミニマックスレートを達成するか？
• RQ3 元の密度が低い内在次元を持つ場合でも、カイ二乗検定は最適性を維持できるか？
• RQ4 未知の滑らかさおよび内在次元に適応可能であり、顕著なパワー損失なしに性能を維持できるパrameter-free 検定を設計することは可能か？
• RQ5 なぜ一部のカーネルベースの手法は、パラメトリックレートを主張しているにもかかわらず、高次元では失敗するのか？

主な発見

• 次元 $d$ における二標本適合度検定の $L^2$ 距離下でのミニマックスレートは $m^{-2s/(4s+d)}$ であり、典型的な次元の Curse を示す。
• ビンサイズ $\kappa \sim m^{2/(4s+d)}$ を用いたカイ二乗検定がミニマックスレートを達成し、非パラメトリックな枠組み下での最適性を裏付けた。
• 元の密度のサポートが低い内在次元を持つ場合であっても、ビン分割を適切に調整すればカイ二乗検定はミニマックス最適性を維持する。
• 提案されたマルチスケールカイ二乗検定は、未知の滑らかさ $s$ および未知の内在次元に適応可能であり、顕著なパワー損失なしに近ミニマックス性能を達成する。
• 解析により、非パラメトリックな二標本検定問題において、パラメトリックレートは達成不可能であることが確認された。これは、等方的ガウス分布に対しても同様であり、長年の文献上の混乱を解消した。
• 証明は、代替仮説下での検定統計量の $L^2$ ノルムを制御するための、多項式近似およびカーネル作用素の境界の新しい応用に依拠している。