[論文レビュー] Iterative Regularization for Learning with Convex Loss Functions

Junhong Lin, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Mar 31, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用数 14

ひとこと要約

本稿では、凸損失関数を用いた教師あり学習のための新しい反復的正則化手法を提案する。最小二乗法に限定されない非最小二乗設定において、一般化を明示的な正則化なしに達成するために、部分勾配法の早期停止を用いる。有限標本における過剰リスクの境界を確立し、最後の反復が平均化された反復や最良の反復と同等の性能を示すことを示し、非最小二乗設定における早期停止の理論的基盤を提供する。

ABSTRACT

We consider the problem of supervised learning with convex loss functions and propose a new form of iterative regularization based on the subgradient method. Unlike other regularization approaches, in iterative regularization no constraint or penalization is considered, and generalization is achieved by (early) stopping an empirical iteration. We consider a nonparametric setting, in the framework of reproducing kernel Hilbert spaces, and prove finite sample bounds on the excess risk under general regularity conditions. Our study provides a new class of efficient regularized learning algorithms and gives insights on the interplay between statistics and optimization in machine learning.

研究の動機と目的

• 凸損失関数を用いた学習のための新しい正則化フレームワークを構築し、最適化と統計的学習を統合すること。
• 明示的なペナルティ項や制約なしに、早期停止による反復的正則化の一般化特性を分析すること。
• 再生核ヒルベルト空間（RKHS）を用いた非パラメトリック設定において、有限標本における過剰リスクの境界を確立すること。
• 部分勾配法の最後の反復が、平均化された反復や最良の反復と同等の収束速度を達成することを示すこと。
• 学習アルゴリズムの分析において、統計的および最適化的視点を統合すること。

提案手法

• アルゴリズムは、経験的リスクに対する部分勾配降下法を用い、損失関数の部分勾配に基づく反復的更新を行う。
• 正則化はペナルティ項ではなく、反復プロセスの早期停止によって達成される。
• アルゴリズムは再生核ヒルベルト空間（RKHS）上で動作し、非パラメトリック関数推定が可能になる。
• 計算誤差（最適化由来）、標本誤差（有限データ由来）、近似誤差（モデルクラス由来）の三項誤差分解を用いる。
• 理論的分析では、凸解析と経験過程理論を組み合わせて過剰リスクの境界を導出する。
• 最適な収束速度を保証するために、ステップサイズと停止ルールを理論的導出に基づいて選択する。

実験結果

リサーチクエスチョン

• RQ1 部分勾配法の早期停止は、一般の凸損失関数に対して有効な正則化戦略とみなせるか？
• RQ2 反復的正則化における、計算誤差、統計誤差、近似誤差は、全体の過剰リスクにどのように寄与するか？
• RQ3 部分勾配法の最後の反復は、平均化された反復や最良の反復と同等の一般化性能を達成するか？
• RQ4 凸損失関数を用いた反復的正則化における有限標本収束速度は何か？また、問題パラメータにどのように依存するか？
• RQ5 提案手法は滑らかな損失関数へ拡張可能か？その場合の収束速度は何か？

主な発見

• 古典的な部分勾配法の分析とは対照的に、部分勾配法の最後の反復が平均化された反復と同等の収束速度を達成する。
• 過剰リスクの有限標本境界が確立され、$ m^{-\beta\tilde{\theta}\gamma} \log(2/\delta) $ のオーダーの収束速度を示す。ここで $ \gamma $ は滑らかさおよび近似パラメータに依存する。
• ハムリング損失の場合、過剰リスクは $ m^{-\alpha} $ の速度で収束し、$ \alpha = \frac{1}{2+1/\beta} $ となる。これは既知の最適速度と一致する。
• 学習率は、目的関数の滑らかさ（$ \beta $）、損失関数の性質（$ q, \theta $）、およびデータ分布（$ \tau $）の相互作用に依存する。
• 理論的枠組みにより、最適化的および統計的寄与を分離する統一された誤差分解が提供され、反復的学習アルゴリズムのより深い分析が可能になる。
• 結果として、最小二乗法に限定されない一般の凸損失関数に対しても、早期停止が原理的根拠を持つ正則化法であることが裏付けられる。