[論文レビュー] Gaussian approximation for the sup-norm of high-dimensional matrix-variate U-statistics and its applications

Xiaohong Chen|arXiv (Cornell University)|Jan 31, 2016

Random Matrices and Applications参考文献 48被引用数 4

ひとこと要約

本稿では、データ分布の構造的仮定を必要とせず、次元 $ p $ が標本サイズ $ n $ を超える高次元行列分散U統計量に対して、上限ノルムにおける2段階のガウス近似を提案する。やや弱いモーメント条件の下で、次元 $ p $ が標本サイズ $ n $ を超える高次元設定においても、収束速度が多項式的に減少することを確立し、新規のワイルドブートストラップ法を用いて共分散行列およびランク相関行列の有効な推論を可能にする。

ABSTRACT

This paper studies the Gaussian approximation of high-dimensional and non-degenerate U-statistics of order two under the supremum norm. We propose a two-step Gaussian approximation procedure that does not impose structural assumptions on the data distribution. Specifically, subject to mild moment conditions on the kernel, we establish the explicit rate of convergence that decays polynomially in sample size for a high-dimensional scaling limit, where the dimension can be much larger than the sample size. We also supplement a practical Gaussian wild bootstrap method to approximate the quantiles of the maxima of centered U-statistics and prove its asymptotic validity. The wild bootstrap is demonstrated on statistical applications for high-dimensional non-Gaussian data including: (i) principled and data-dependent tuning parameter selection for regularized estimation of the covariance matrix and its related functionals; (ii) simultaneous inference for the covariance and rank correlation matrices. In particular, for the thresholded covariance matrix estimator with the bootstrap selected tuning parameter, we show that the Gaussian-like convergence rates can be achieved for heavy-tailed data, which are less conservative than those obtained by the Bonferroni technique that ignores the dependency in the underlying data distribution. In addition, we also show that even for subgaussian distributions, error bounds of the bootstrapped thresholded covariance matrix estimator can be much tighter than those of the minimax estimator with a universal threshold.

研究の動機と目的

• 次元 $ p $ が標本サイズ $ n $ と共に増加する高次元U統計量の上限ノルムにおける漸近的挙動を研究すること。
• データ分布に構造的仮定を課さずに、非退化で高次元の行列分散U統計量に対するガウス近似を提供すること。
• 中心化されたU統計量の最大値の分位数を近似する実用的なワイルドブートストラップ法を開発すること。
• 一般的で、重い尾を持つ分布を許容する設定において、高次元共分散行列およびランク相関行列の有効な統計的推論を可能にすること。
• データの依存構造を考慮することで、ボンフェローニ補正などの古典的手法よりも誤差バインディングを厳密にすること。

提案手法

• 2段階のガウス近似を提案：まず、ハジェク射影（ホーフィング分解）を用いてU統計量を線形成分で近似し、次にその線形項をガウスベクトルで近似する。
• 非退化およびコアのV統計量に対する最大モーメント不等式とモーメントバウンドを用いて、近似誤差を制御する。
• 核関数のやや弱いモーメント条件の下で、上限ノルムにおける収束速度が多項式的に減少することを確立する。
• 中心化されたU統計量の最大値の分位数を推定するためのワイルドブートストラップ手順を導入し、その漸近的有効性を証明する。
• 正則化共分散推定におけるデータ依存のチューニングパrameter選択および共分散・ランク相関行列の同時推論に、ブートストラップを応用する。
• 高次元データの依存構造を活用することで、ユニバーサルスレッディングやボンフェローニ補正よりも厳密な誤差バインディングを達成する。

実験結果

リサーチクエスチョン

• RQ1 特定のデータ構造を仮定せず、高次元行列分散U統計量の上限ノルムに対するガウス近似を達成できるか？
• RQ2 次元 $ p \gg n $ の下で、最小限のモーメント条件のもとで、ガウス近似の収束速度はどのようになるか？
• RQ3 ワイルドブートストラップ法は、高次元設定におけるU統計量の最大値の推論に対して漸近的に有効な近似を提供できるか？
• RQ4 重い尾を持つデータに対して、本手法はボンフェローニ補正などの古典的手法よりも誤差バインディングをどのように改善するか？
• RQ5 ブートストラップに基づくチューニングパrameter選択は、重い尾を持つ分布下で、しきい値付き共分散行列推定量に対してガウス型の収束速度を達成できるか？

主な発見

• 2段階のガウス近似は、次元 $ p $ が標本サイズ $ n $ よりも速く増加する高次元設定においても、やや弱いモーメント条件のもとで上限ノルムにおいて多項式的に減少する収束速度を達成する。
• ワイルドブートストラップ法は、中心化されたU統計量の最大値の分位数を近似する上で漸近的に有効であり、高次元設定における実用的推論を可能にする。
• しきい値付き共分散行列推定量に関して、ブートストラップで選択されたチューニングパrameterは、ユニバーサルスレッディングを用いたミニマックス推定量よりも誤差バインディングが厳密であることが示され、サブガウス分布下でも同様の結果が得られる。
• 重い尾を持つデータに対して、本手法はガウス型の収束速度を達成し、依存関係を無視するボンフェローニ手法よりも優れた性能を示す。
• 本アプローチは、有界（例：ケンダールのtau）および非有界（例：標本共分散）の両方の核関数に適用可能であり、共分散およびランク相関推定への応用範囲を広げる。
• 理論的バインディングは最大モーメント不等式と双対性の議論を用いて導出され、制御されたモーメント条件下で近似誤差の明示的定数が得られる。