[論文レビュー] Early stopping and non-parametric regression: An optimal data-dependent stopping rule

Garvesh Raskutti, Martin J. Wainwright+1 more|arXiv (Cornell University)|Jun 15, 2013

Numerical methods in inverse problems参考文献 36被引用数 181

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）上での非パrametric回帰における勾配降下法のデータ依存型早期停止ルールを提案する。ホールドアウトデータや交差検証を必要とせず、累積ステップサイズに基づく停止時刻を用いてバイアスとバリアンスのバランスをとることで、$L^2(\mathbb{P})$ および $L^2(\mathbb{P}_n)$ の両ノルムにおいて最小最大最適推定レートを達成する。Sobolev空間やその他の核クラスに対しても理論的保証が与えられる。

ABSTRACT

The strategy of early stopping is a regularization technique based on choosing a stopping time for an iterative algorithm. Focusing on non-parametric regression in a reproducing kernel Hilbert space, we analyze the early stopping strategy for a form of gradient-descent applied to the least-squares loss function. We propose a data-dependent stopping rule that does not involve hold-out or cross-validation data, and we prove upper bounds on the squared error of the resulting function estimate, measured in either the $L^2(P)$ and $L^2(P_n)$ norm. These upper bounds lead to minimax-optimal rates for various kernel classes, including Sobolev smoothness classes and other forms of reproducing kernel Hilbert spaces. We show through simulation that our stopping rule compares favorably to two other stopping rules, one based on hold-out data and the other based on Stein's unbiased risk estimate. We also establish a tight connection between our early stopping strategy and the solution path of a kernel ridge regression estimator.

研究の動機と目的

• 非パrametric回帰における早期停止の文脈で、実用的かつデータ依存型の停止ルールが最小最大最適性を達成する方法の欠如を解消すること。
• ホールドアウトデータや交差検証を回避しつつ、最適な統計的性能を維持する停止ルールの開発。
• 反復的核法におけるバイアスとバリアンスのトレードオフを、観測済みデータのみを用いて定量的にバランスさせるための理論的裏付けの提供。
• 早期停止と核リッジ回帰の解のパスとの間のきめ細かな関係を確立すること。

提案手法

• 最小二乗損失関数をRKHS上で勾配降下法で最適化し、ステップサイズをパrameterとする更新を行う。
• バイアスとバリアンスのバランスをとるため、累積ステップサイズの和が閾値を超える最初の時刻として、データ依存型の停止ルールを定義する。
• ガウスノイズのチャノイズ理論と集中不等式（Gaussian chaos）を用いて、予測誤差の理論的境界を導出する。
• 停止時刻 $\widehat{T}$ は、平均二乗誤差のバイアスおよびバリアンス成分の両方を制御するように構築される。
• 核作用素の固有分解を活用して、さまざまな核クラスにおける収束速度を分析する。
• 理論的解析により、早期停止の経路と核リッジ回帰の解のパスとの間の関数的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 ホールドアウトデータや交差検証を一切使用せずに、非パrametric回帰における最小最大最適レートを達成するデータ依存型の停止ルールを設計可能か？
• RQ2 観測済みデータのみを用いて、反復的核法におけるバイアスとバリアンスのトレードオフを定量的にバランスできるか？
• RQ3 勾配降下法における早期停止とRKHS上での核リッジ回帰の解の間には、理論的にどのような関係があるか？
• RQ4 Sobolev空間や低ランク核などのどの核クラスに対して、提案された停止ルールが最小最大最適性を達成するか？
• RQ5 有限標本下において、提案されたルールはホールドアウトベースおよびSUREベースの停止ルールと比較してどのように性能を発揮するか？

主な発見

• 提案された停止ルールは、Sobolev空間やその他の核クラスにおいて、$L^2(\mathbb{P})$ および $L^2(\mathbb{P}_n)$ の両ノルムで最小最大最適推定レートを達成する。
• 停止までのすべての反復について、二乗誤差の理論的上界が導出され、停止後の誤差に下界が存在するため、最適なトレードオフが保証される。
• Sobolev空間および低ランク核に対して、定数係数の誤差要因を除き、最小最大最適性が達成され、境界は本質的に改善不可能である。
• ホールドアウトデータや交差検証を必要とせず、他の手法とは異なり計算的にも効率的である。
• シミュレーションでは、標本サイズが増加するにつれて、ホールドアウトベースおよびSUREベースの停止ルールと比較して優れた性能を示す。
• 早期停止の経路と核リッジ回帰の解のパスとの間には、きわめて緊密な数学的関係が確立され、極限において等価であることが示された。