[論文レビュー] Analyzing the discrepancy principle for kernelized spectral filter learning algorithms

Alain Célisse, Martin Wahl|arXiv (Cornell University)|Apr 17, 2020

Sparse and Compressive Sensing Techniques参考文献 52被引用数 6

ひとこと要約

本稿は、核化スペクトルフィルタ学習アルゴリズムにおける早期停止ルールを、不一致原理およびその滑らか化版を用いて分析する。固定設計および確率的設計設定の両方において、有限標本におけるオラクル不等式を確立し、古典的不一致原理が遅い収束率に対して統計的に適応可能であることを証明する一方、滑らか化版はより速い収束率およびより高い滑らかさパラメータに適応可能であることを示す。

ABSTRACT

We investigate the construction of early stopping rules in the nonparametric regression problem where iterative learning algorithms are used and the optimal iteration number is unknown. More precisely, we study the discrepancy principle, as well as modifications based on smoothed residuals, for kernelized spectral filter learning algorithms including gradient descent. Our main theoretical bounds are oracle inequalities established for the empirical estimation error (fixed design), and for the prediction error (random design). From these finite-sample bounds it follows that the classical discrepancy principle is statistically adaptive for slow rates occurring in the hard learning scenario, while the smoothed discrepancy principles are adaptive over ranges of faster rates (resp. higher smoothness parameters). Our approach relies on deviation inequalities for the stopping rules in the fixed design setting, combined with change-of-norm arguments to deal with the random design setting.

研究の動機と目的

• 非パラメトリック回帰における反復的核化スペクトルフィルタアルゴリズムに対して、データ駆動型の早期停止ルールを開発すること。
• 古典的不一致原理およびその滑らか化版の有限標本における統計的性能を分析すること。
• 推定誤差および予測誤差の理論的保証（特にオラクル不等式）を、固定設計および確率的設計設定の両方において確立すること。
• ハード学習状況における未知の滑らかさパラメータや収束率に、停止ルールがどの程度適応可能であるかを調査すること。
• Lepskii型手法で一般的に用いられる対比較モデル選択の計算負荷を回避しつつ、理論的分析と実用的な計算効率を統合すること。

提案手法

• 不一致原理を停止ルールとして用い、その条件は経験的残差ノルムがノイズレベルに比例する閾値と等しくなることである。
• 有限標本におけるロバスト性と適応性を向上させるために、不一致原理の滑らか化された残差バージョンを導入する。
• 固定設計設定における停止ルールの偏差不等式を用いて、過学習の確率を制御する。
• ノルムの変換に関する議論を用いて、固定設計から確率的設計設定への結果の拡張を図り、予測誤差の境界を導出する。
• 作用素ノルムの不等式および固有値の減衰仮定（例えば多項式的または指数的減衰）に依拠して、有効次元および正則化効果を制御する。
• 有限標本におけるオラクル不等式を、経験的作用素の集中不等式と再生核ヒルベルト空間（RKHS）におけるスペクトル正則化理論を組み合わせることで導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的不一致原理は、核化スペクトルフィルタ学習におけるデータ駆動型の早期停止ルールとして理論的に正当化可能であるか？
• RQ2 不一致原理の滑らか化版は、古典版と比較して統計的性能および適応性をどのように向上させるか？
• RQ3 不一致原理が非パラメトリック回帰において最適または近似的に最適な収束率を達成する条件は何か？
• RQ4 停止ルールは、未知の滑らかさパラメータや収束率にどの程度適応可能であるか？
• RQ5 推定誤差および予測誤差の理論的保証を、固定設計設定から確率的設計設定にどのように拡張できるか？

主な発見

• 古典的不一致原理は、ハード学習状況において、有限標本におけるオラクル不等式によって、遅い収束率に対して統計的に適応可能であることが示された。
• 滑らか化不一致原理は、より速い収束率の範囲において適応可能であることが証明され、回帰関数のより高い滑らかさパラメータに対応する。
• 一般のスペクトルフィルタアルゴリズム（勾配降下法を含む）において、固定設計設定下での経験的推定誤差に対するオラクル不等式が確立された。
• 確率的設計設定における予測誤差の境界は、ノルムの変換に関する議論を用いて導出され、固定設計の結果がより現実的なサンプリング状況に拡張された。
• 多項式的または指数的減衰を仮定することで、RKHSの有効次元が制御され、正則化効果のタイトな境界が得られた。
• 理論的分析により、提案された停止ルールがLepskii法のようなモデル選択手法に伴う計算負荷を回避しつつも、強力な統計的性能を維持することが確認された。