[論文レビュー] Early Stopping for Nonparametric Testing

Meimei Liu, Guang Cheng|arXiv (Cornell University)|May 25, 2018

Statistical Methods and Inference参考文献 14被引用数 3

ひとこと要約

本稿は、再生核ヒルベルト空間における関数的勾配降下法を用いた非パラメトリック検定において、鋭い早期停止ルールを確立し、反復回数が最適な順序に達した場合にのみ検定最適性が達成されることを示している。反復推定子に基づく Wald 型検定統計量を導入し、多項式および指数型カーネル族の両方において最小最大最適性を証明している。

ABSTRACT

Early stopping of iterative algorithms is an algorithmic regularization method to avoid over-fitting in estimation and classification. In this paper, we show that early stopping can also be applied to obtain the minimax optimal testing in a general non-parametric setup. Specifically, a Wald-type test statistic is obtained based on an iterated estimate produced by functional gradient descent algorithms in a reproducing kernel Hilbert space. A notable contribution is to establish a "sharp" stopping rule: when the number of iterations achieves an optimal order, testing optimality is achievable; otherwise, testing optimality becomes impossible. As a by-product, a similar sharpness result is also derived for minimax optimal estimation under early stopping studied in [11] and [19]. All obtained results hold for various kernel classes, including Sobolev smoothness classes and Gaussian kernel classes.

研究の動機と目的

• 過学習を回避しながら最小最大最適性を維持する理論的根拠に基づいた非パラメトリック検定の早期停止ルールの開発。
• 特にクロスバリデーションが非効率な場合に、非パラメトリックモデルにおける最適な検定のための理論的裏付けのあるチューニング手順の欠如に対処すること。
• 古典的推定におけるバイアス・バリアンストレードオフとは異なる、検定性能におけるバイアスとバリアンスのトレードオフの特定。
• 検定最適性が反復回数が最適な順序に達した場合にのみ達成される「鋭い」停止ルールの確立。
• この鋭さの結果を最小最大最適推定へと拡張し、[11]および[19]における既存の早期停止ルールが推定に対しても最適であることを示すこと。

提案手法

• 再帰的核ヒルベルト空間（RKHS）における関数的勾配降下法を用い、逐次的に回帰関数を推定する。
• 反復回数 $ t $ における推定子 $ f_t $ をもとに、Wald 型検定統計量 $ D_{n,t} $ を構築し、非パラメトリック信号に関する仮説検定を可能にする。
• 反復回数 $ t $ の関数として、検出可能な最小信号強度（SWDS）を導出し、バイアス低減とバリアンス増加のバランスをとる。
• SWDSの最小化に基づくデータに依存する早期停止ルールを導入し、最適な検定性能を保証する。
• 多項式および指数型の固有値減衰率を用いて、異なるカーネル族における最適反復回数を特徴付ける。
• バイアス推定のためのブートストラップ近似を用い、縮小行列および固有値摂動に関する理論的バウンドを適用して漸近的結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 正則化なしに、非パラメトリックモデルにおける最小最大最適検定を早期停止によって達成できるか？
• RQ2 過学習を避けながら検定力の最大を達成する最適な反復回数 $ t $ は何か？
• RQ3 推定とは異なり、検定におけるバイアスとバリアンスのトレードオフはどのように異なるか？
• RQ4 検定のための早期停止ルールは「鋭い」か、すなわち最適性が特定の最適反復順序でのみ成立するか？
• RQ5 同じ停止ルールが最小最大最適推定を達成でき、かつ推定に対しても鋭いか？

主な発見

• 鋭い早期停止ルールが確立された：反復回数がカーネルの固有値減衰に起因する最適な順序に達した場合にのみ、検定最適性が達成される。
• 提案された Wald 型検定統計量 $ D_{n,t} $ は反復回数に応じて放物線型の検定力パターンを示し、最適 $ t $ でピークに達する。これは、検定におけるバイアスとバリアンスのトレードオフの存在を確認する。
• 多項式固有値減衰 $ u_i \asymp i^{-2m} $ を示す Sobolev スムーズネスクラスでは、最適反復回数は $ t^* \asymp n^{1/(2m)} $ に比例し、これにより最小最大最適性が達成される。
• 指数型固有値減衰 $ u_i \asymp \exp(-\beta i^p) $ を示すガウス型カーネルクラスでは、最適反復回数は $ t^* \asymp \log n $ に比例し、再び最小最大検定最適性が達成される。
• 停止ルールの鋭さは、検定および推定の両方で証明された：$ t \ll t^* $ または $ t \gg t^* $ の場合、最適性は達成不可能であり、中間の範囲でもより良い性能は得られない。
• [11]および[19]で提示された推定のための早期停止ルールが、最小最大最適推定に対しても鋭いことが示され、それらの結果がより広範な理論的枠組みへと拡張された。