[論文レビュー] Randomized incomplete $U$-statistics in high dimensions

Xiaohui Chen, Kengo Kato|arXiv (Cornell University)|Dec 3, 2017

Statistical Methods and Inference参考文献 40被引用数 3

ひとこと要約

本稿では、大規模な次元数 $ d $ と標本サイズ $ n $ の両方が大きい高次元U統計量における計算効率の良い推論を可能にするために、スパースでランダム化された重みを用いた確率的不完全U統計量を提案する。この手法は非漸近的ガウス近似誤差バウンドを達成し、$ d \gg n $ でさえも、退化および非退化カーネルの両方に対して計算的に効率的なブートストラップ手順を提供する。

ABSTRACT

This paper studies inference for the mean vector of a high-dimensional $U$-statistic. In the era of Big Data, the dimension $d$ of the $U$-statistic and the sample size $n$ of the observations tend to be both large, and the computation of the $U$-statistic is prohibitively demanding. Data-dependent inferential procedures such as the empirical bootstrap for $U$-statistics is even more computationally expensive. To overcome such computational bottleneck, incomplete $U$-statistics obtained by sampling fewer terms of the $U$-statistic are attractive alternatives. In this paper, we introduce randomized incomplete $U$-statistics with sparse weights whose computational cost can be made independent of the order of the $U$-statistic. We derive non-asymptotic Gaussian approximation error bounds for the randomized incomplete $U$-statistics in high dimensions, namely in cases where the dimension $d$ is possibly much larger than the sample size $n$, for both non-degenerate and degenerate kernels. In addition, we propose generic bootstrap methods for the incomplete $U$-statistics that are computationally much less-demanding than existing bootstrap methods, and establish finite sample validity of the proposed bootstrap methods. Our methods are illustrated on the application to nonparametric testing for the pairwise independence of a high-dimensional random vector under weaker assumptions than those appearing in the literature.

研究の動機と目的

• 高次元設定（$ d \gg n $ かつ $ r \geq 3 $）における完全U統計量の計算不能性に対処すること。
• 完全U統計量の経験的ブートストラップに比べて計算コストが非常に高いため（$ O(Bn^r d) $ の演算が必要）、その代替として計算的に効率的な手法を構築すること。
• 高次元における不完全U統計量の非漸近的ガウス近似誤差バウンドを確立すること、退化および非退化の両ケースを含む。
• 有限サンプルの有効性を保証する汎用的で計算的に効率的な不完全U統計量のブートストラップ手法を提案すること。
• 従来の研究よりも弱いモーメント仮定のもとで、ペアワイズ独立性の非パラメトリック検定にこの手法を応用することの有効性を示すこと。

提案手法

• ベルヌーイ抽出およびリプレースメント抽出を用いてスパースな重みを構築する確率的不完全U統計量を導入し、$ r $ に依存しない計算コスト削減を実現する。
• 分割統治戦略とランダムサンプリング推定を用いて、ブートストラップ分布を計算的に効率的に近似する。
• 高次元における確率的不完全U統計量の非漸近的ガウス近似誤差バウンドを導出し、$ n $、$ d $、$ r $ に明示的な依存関係を示す。
• 不完全U統計量に基づく汎用的ブートストラップ手法（MB-NDG-DC および MB-NDG-RS）を提案し、有限サンプルの有効性について理論的裏付けを提供する。
• ランダム抽出設計に適応する正規化スキームを採用し、分散の制御と近似精度の向上を図る。
• 計算実行時間の線形モデルを用いて分析し、ブートストラップ手法のスケーリングが $ O(n^2) $ に比例することを示し、理論的予測と一致することを確認する。

実験結果

リサーチクエスチョン

• RQ1 確率的不完全U統計量は、$ d \gg n $ の高次元設定でも、正確なガウス近似を達成できるか？
• RQ2 高次元における確率的不完全U統計量のガウス近似の非漸近的誤差バウンドは何か？
• RQ3 有限サンプルの有効性を保ちながら、不完全U統計量のための計算的に効率的なブートストラップ手順を構築できるか？
• RQ4 計算コストと精度の観点から、提案手法のブートストラップは標準的経験的ブートストラップと比べてどのように性能を発揮するか？
• RQ5 本手法は、従来の手法よりも弱いモーメント仮定のもとで、ペアワイズ独立性の非パラメトリック検定に応用可能か？

主な発見

• 確率的不完全U統計量は、$ n $、$ d $、$ r $ に有利に依存する非漸近的ガウス近似誤差バウンドを達成し、高次元領域 $ d \gg n $ においても有効である。
• 提案されたブートストラップ手法（MB-NDG-DC および MB-NDG-RS）は、計算コストを $ O(Bn^r d) $ から $ O(BN d) $ に削減し、$ N \ll n^r $ を満たす。実行時間は $ O(n^2) $ に比例し、理論的予測と一致する。
• 実験結果から、テストのサイズ誤差（uniform error-in-size）が全テスト設定で 0.02 未満であることが示され、強い有限サンプルの有効性を示している。
• ガウス近似は非常に正確であり、P-Pプロットでは $ \sqrt{n}U_{n,N}' $ の実証的分布と正規分布のターゲット分布がよく一致している。
• ランダム正規化スキームは、決定的正規化と比較して近似正規分布の分散を小さくし、近似精度を向上させた。
• コプゥラ相関例（$ a = 0.9 $）を通じて、従来の手法よりも弱いモーメント仮定のもとで、ペアワイズ独立性の非パラメトリック検定が成功裏に実行可能であることが示された。