[論文レビュー] Non-asymptotic theory for nonparametric testing

Yun Yang, Zuofeng Shang+1 more|arXiv (Cornell University)|Feb 4, 2017

Statistical Methods and Inference参考文献 24被引用数 8

ひとこと要約

この論文は、任意の有限標本サイズにおいて型Iおよび型IIエラーを正確に制御する非漸近的理論を構築する。有限標本の偏差バウンドから導出された分離関数を最小化することで、最適なスムージングパラメータを求める新しい非漸近的公式を提案し、特に小標本から中標本において従来の漸近的検定よりも検出力が向上する。

ABSTRACT

We consider nonparametric testing in a non-asymptotic framework. Our statistical guarantees are exact in the sense that Type I and II errors are controlled for any finite sample size. Meanwhile, one proposed test is shown to achieve minimax optimality in the asymptotic sense. An important consequence of this non-asymptotic theory is a new and practically useful formula for selecting the optimal smoothing parameter in nonparametric testing. The leading example in this paper is smoothing spline models under Gaussian errors. The results obtained therein can be further generalized to the kernel ridge regression framework under possibly non-Gaussian errors. Simulations demonstrate that our proposed test improves over the conventional asymptotic test when sample size is small to moderate.

研究の動機と目的

• 非パラメトリック推論、特に検定において有限標本理論の欠如に取り組むこと。既存の手法は漸近的近似に依存している。
• 任意の固定標本サイズにおいて型Iおよび型IIエラーを正確に制御する厳密な非漸近的フレームワークを構築すること。
• 従来のスムージングスプライン検定におけるバイアスによる小標本における検出力の損失を克服するため、バイアス補正推定量を導入すること。
• 一般化交差検証（GCV）を改善する、実用的で非漸近的な最適スムージングパラメータ選択の公式を提供すること。

提案手法

• ノルム関数とスムージングスプライン推定量の間の単純な乖離に基づく Wald 型検定統計量と、バイアス補正済みスムージングスプライン推定量を用いたもう一つの検定統計量を構築する。
• 有限標本下での検定統計量の尾部挙動を制御する非漸近的偏差不等式（定理3.1および3.4）を導出する。
• 有限標本制約下での最小検出可能信号強度を定量化する分離関数を導入し、スムージングパラメータの最適化に用いる。
• 再生核ヒルベルト空間（RKHS）における一様大偏差バウンドとチェイングの議論を用いて、検定統計量の集中不等式を確立する。
• 合成仮説およびカーネルリッジ回帰（KRR）への一般化を行い、スムージングスプラインを超えた応用可能性を示す。
• オーリッチ norm と部分ガウス的尾部バウンドを用いて、関数クラス上での経験過程の一様集中結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック検定において、任意の有限標本サイズに対して型Iおよび型IIエラーを正確に制御する非漸近的理論を開発可能か？
• RQ2 小標本においてスムージングスプライン推定量のバイアスをどのように是正すれば、ミニマックス最適性を達成できるか？
• RQ3 理論的根拠に基づいた非漸近的方法で、非パラメトリック検定における最適スムージングパラメータをどのように選択できるか？
• RQ4 提案された有限標本検定は、小標本から中標本において、罰則付き尤度比検定（PLRT）などの従来の漸近的検定を上回る性能を示すか？
• RQ5 非漸近的フレームワークは、正規誤差でない場合や、より一般的な回帰モデル（例：カーネルリッジ回帰）へも拡張可能か？

主な発見

• バイアス補正済み検定は、漸近的意味でミニマックス最適性を達成しており、単純な検定が抱える非ゼロのバイアスを是正している。
• スムージングスプライン推定量の非漸近的偏差バウンドは、高階の減衰する剰余項を含む最初の例である。
• 型Iおよび型IIエラーは、Corollaries 3.3および3.6で示されるように、任意の有限標本サイズにおいて正確に制御されている。
• 分離関数を最小化することで、最適なスムージングパラメータ選択のための新しい公式が導出され、シミュレーションでGCVを上回ることを示した。
• 同じスムージングパラメータを使用しても、標本サイズが増加するにつれて、罰則付き尤度比検定（PLRT）に比べて一貫して優れた検出力を示した。
• フレームワークは合成仮説およびカーネルリッジ回帰へと拡張され、正規誤差やスムージングスプラインを超えた広範な適用可能性が示された。