[論文レビュー] Early stopping for kernel boosting algorithms: A general analysis with localized complexities

Yuting Wei, Fanny Yang+1 more|arXiv (Cornell University)|Jul 5, 2017

Statistical Methods and Inference参考文献 32被引用数 13

ひとこと要約

この論文は、カーネルブースティングにおける早期停止と局所化されたガウス型複雑度の間の一般的な理論的関係を確立し、反復的更新中に探索される関数クラスの複雑度を分析することで、最適な停止ルールを導出できることを示している。ソボレフ空間やその他の正則カーネルクラスに対しては、提案されたデータに依存する停止ルールがミニマックス最適な推定レートを達成する。

ABSTRACT

Early stopping of iterative algorithms is a widely-used form of regularization in statistics, commonly used in conjunction with boosting and related gradient-type algorithms. Although consistency results have been established in some settings, such estimators are less well-understood than their analogues based on penalized regularization. In this paper, for a relatively broad class of loss functions and boosting algorithms (including L2-boost, LogitBoost and AdaBoost, among others), we exhibit a direct connection between the performance of a stopped iterate and the localized Gaussian complexity of the associated function class. This connection allows us to show that local fixed point analysis of Gaussian or Rademacher complexities, now standard in the analysis of penalized estimators, can be used to derive optimal stopping rules. We derive such stopping rules in detail for various kernel classes, and illustrate the correspondence of our theory with practice for Sobolev kernel classes.

研究の動機と目的

• カーネルブースティングにおける早期停止と局所化されたガウス型複雑度の間の理論的枠組みを確立すること。
• $L^2$-ブースティング、ロジスティックブースティング、アダブースティングを含む広範な損失関数クラスに対する最適な停止ルールを導出すること。
• ソボレフカーネルなどの正則カーネルクラスに対して、これらの停止ルールがミニマックス最適な推定レートを達成することを示すこと。
• 特に複雑度に基づく解析の観点から、早期停止とペナルティ付き正則化の間の理論的理解のギャップを埋めること。

提案手法

• 著者たちは、$T$ 回のカーネルブースティングの反復によって探索される有効な関数空間を分析し、そのサイズを局所化されたガウス型幅を用いて特徴づける。
• 局所化されたガウス幅を用いて、平均推定量 $\bar{\theta}^T$ の非漸近的リスクバウンドを導出し、推定誤差を関数クラスの複雑度と関連付ける。
• この手法は、経験過程論と局所化された複雑度の固定点解析に依存しており、従来ペナルティ付き推定に用いられてきた道具を早期停止に拡張する。
• カーネルクラスが $\gamma$-指数的または $\beta$-多項式的固有値減衰を示す場合、局所化された複雑度の臨界半径を導出し、最適な停止時刻を特定する。
• 停止ルールはデータに依存し、経験的カーネル行列の固有値に基づくため、観測データから計算可能である。
• 集中不等式を用いて理論的保証を確立し、推定誤差に関する高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 ペナルティ付き推定に用いられるものと同様の局所化された複雑度測度を用いて、カーネルブースティングにおける早期停止を理論的に正当化できるか？
• RQ2 反復的ブースティングアルゴリズムの停止時刻と、それが探索する関数クラスの局所化されたガウス型複雑度の間にはどのような関係があるか？
• RQ3 局所化された複雑度に基づいて導出された早期停止ルールは、ソボレフカーネルのようなカーネルクラスに対しミニマックス最適なレートを達成するか？
• RQ4 有限標本設定における実際の性能と比較して、理論的停止ルールはどのように振る舞うか？
• RQ5 平均推定量 $\bar{\theta}^T$ に対して得られた最適性の結果を、停止された推定量 $f^T$ に拡張できるか？

主な発見

• 固有値が $\gamma$-指数的減衰を示すカーネルクラスに対して、最適な停止時刻は $T \asymp \frac{\log(n)^{1/\gamma}\sigma^2}{n}$ とスケーリングされ、高確率で推定誤差 $\lesssim \left(\frac{1}{\alpha m} + \frac{1}{m^2}\right)\frac{\log^{1/\gamma}n}{n}\sigma^2$ を達成する。
• $\beta$-多項式的減衰（$\mu_j \leq c_1 j^{-2\beta}$）の場合は、最適な停止時刻は $T \asymp n^{-2\beta/(1+2\beta)}$ であり、高確率で推定誤差 $\lesssim \left(\frac{1}{\alpha m} + \frac{1}{m^2}\right)\left(\frac{\sigma^2}{n}\right)^{2\beta/(2\beta+1)}$ を達成する。
• 提案された停止ルールはデータに依存し、経験的カーネル行列の固有値から計算可能であり、実装が可能である。
• 理論的に、局所化された複雑度に基づく早期停止が、正則カーネルクラスに対してミニマックス最適なレートを達成することを確立した。これは既知の統計的下界と一致する。
• 早期停止と局所化されたガウス型複雑度の間の関係は、特定のアルゴリズムにとどまらず、$L^2$-ブースティング、ロジスティックブースティング、アダブースティングを含む広範な損失関数クラスに一般化可能な、整合的で包括的な枠組みを提供する。
• シミュレーションにより、理論的予測と導出された停止ルールの実効的性能との間で強い一致が確認された。