[論文レビュー] Nonparametric Testing under Random Projection

Meimei Liu, Zuofeng Shang+1 more|arXiv (Cornell University)|Feb 17, 2018

Sparse and Compressive Sensing Techniques参考文献 40被引用数 9

ひとこと要約

本稿は、カーネルリッジ回帰におけるランダムプロジェクションを用いた計算的に効率的なノンパrametric検定手順を提案し、最小最大最適な検定性能を達成する。この性能は、プロジェクション数の鋭い下界を伴う。理論的に、テスト最適性は、カーネル固有値と正則化パラメータに依存する閾値を超えるランダムプロジェクション数が存在する場合にのみ達成可能であり、一般のランダムプロジェクション行列のもとで、適応的および非適応的テストの両方に対して理論的保証が与えられる。

ABSTRACT

A common challenge in nonparametric inference is its high computational complexity when data volume is large. In this paper, we develop computationally efficient nonparametric testing by employing a random projection strategy. In the specific kernel ridge regression setup, a simple distance-based test statistic is proposed. Notably, we derive the minimum number of random projections that is sufficient for achieving testing optimality in terms of the minimax rate. An adaptive testing procedure is further established without prior knowledge of regularity. One technical contribution is to establish upper bounds for a range of tail sums of empirical kernel eigenvalues. Simulations and real data analysis are conducted to support our theory.

研究の動機と目的

• 大規模データに対して計算的に効率的なノンパラメトリック検定手順を開発すること。
• カーネルリッジ回帰における最小最大最適な検定を達成するための最小ランダムプロジェクション数を特定すること。
• 関数の滑らかさに関する事前知識が不要な適応的検定手順を構築すること。
• 推定と検定の統一的分析を可能にする、経験的カーネル固有値の尾部和の理論的保証を導出すること。
• シミュレーションおよび実データ解析を通じて、検出力におけるフェーズ遷移行動を確認すること。

提案手法

• ランダムプロジェクションを用いたカーネルリッジ回帰推定量のバージョンを用いて、距離ベースの検定統計量 Tn,λ = ||bfR − f0||²n を提案する。
• ランダムプロジェクションを用いることで、計算コストを O(n³) から O(s³) に、保存領域を O(n²) から O(s²) に削減し、s ≪ n となるようにする。
• テストが最小最大最適となるためのプロジェクション数 s に対する鋭い下界 s* を導出する。
• 推定と検定を同時に分析可能な、経験的カーネル固有値の尾部和の境界に基づく統一フレームワークを構築する。
• 複数の正則性レベルにおける標準化された非適応的検定統計量の最大値を用いて、適応的検定を構築する。
• ガウス近似結果を活用し、適応的検定の帰無分布が極値分布（Gumbel分布）に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 ノンパラメトリックカーネルリッジ回帰における最小最大最適な検定を達成するための最小ランダムプロジェクション数は何か？
• RQ2 検出力におけるフェーズ遷移は、平滑化パラメータ λ とプロジェクション次元 s にどのように依存するか？
• RQ3 関数の滑らかさに関する事前知識がなくても最小最大最適性を達成できる適応的検定手順を構築可能か？
• RQ4 多項式減衰カーネル設定下での最適平滑化パラメータ λ* とプロジェクション次元 s* の正確なオーダーは何か？
• RQ5 経験的カーネル固有値の尾部和は、ランダムプロジェクションに基づくノンパラメトリック検定の性能にどのように影響するか？

主な発見

• 最小最大最適な検定を達成するための最小ランダムプロジェクション数 s* は、カーネル固有値と正則化パラメータ λ に依存し、m 次多項式減衰カーネルでは s* ≍ n^(2/(4m+1)) となる。
• s ≥ s* のとき、テストは最小最大最適な検出レートを達成し、検出可能な最小信号強度は最小最大下界と一致する。
• m 次多項式減衰カーネルでは、最適平滑化パラメータは λ* = n^(-4m/(4m+1)) であり、最小信号強度は n^(-2m/(4m+1)) である。
• 最大統計量に基づく適応的検定は、帰無仮説の下で極値分布（Gumbel分布）に分布収束するため、有意水準の適切な制御が可能である。
• シミュレーションにより、プロジェクション数が臨界値を超えると検出力が頭打ちになることが確認され、理論的フェーズ遷移と整合的である。
• 経験的カーネル固有値の尾部和に関する理論的境界が確立され、ランダムプロジェクション下での推定と検定の統一的分析が可能になった。