[論文レビュー] Learning with incremental iterative regularization

Lorenzo Rosasco, Silvia Villa|arXiv (Cornell University)|Apr 30, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用数 15

ひとこと要約

本稿では、オンライン勾配法を用いた最小二乗学習における段階的反復正則化を提案し、データの走査回数（エポック数）を正則化パラメータとして用いる。リスクの概収率収束を確立し、有限標本における鋭いバウンドを導出。エポック数に基づく早期停止が普遍的一貫性を達成し、明示的なペナルティなしにティホノフ正則化の性能を達成することを証明。

ABSTRACT

Within a statistical learning setting, we propose and study an iterative regularization algorithm for least squares defined by an incremental gradient method. In particular, we show that, if all other parameters are fixed a priori, the number of passes over the data (epochs) acts as a regularization parameter, and prove strong universal consistency, i.e. almost sure convergence of the risk, as well as sharp finite sample bounds for the iterates. Our results are a step towards understanding the effect of multiple epochs in stochastic gradient techniques in machine learning and rely on integrating statistical and optimization results.

研究の動機と目的

• 早期停止の一般化特性を理論的に理解すること。
• データを走査する回数（エポック数）が明示的なペナルティなしに正則化パラメータとして機能する仕組みを分析すること。
• ティホノフ正則化と同等の結果が得られる、過剰リスクおよび反復値の有限標本バウンドを導出すること。
• 容量に依存せず次元に依存しない設定において、強い普遍的一貫性（リスクの概収率収束）を確立すること。
• 統計学的理論と最適化理論を統合し、段階的正則化を施したオンライン学習を分析すること。

提案手法

• アルゴリズムは、複数のエポックにわたりデータ点を順番に処理し、各点処理後に解を更新する段階的勾配法を用いる。
• 正則化は、エポック数が唯一の自由パラメータである早期停止によって暗黙的に行われる。
• 理論的分析では、統計的学習理論と最適化収束結果を組み合わせ、カーネルおよび目的関数の正則性に関する仮定を用いる。
• 有限標本バウンドは、集中不等式と作用素ノルム推定を用いて導出され、反復値が真の解からどれほど離れるかの高確率バウンドが得られる。
• 解析は、カーネル積分作用素の固有値の減衰と、再生核ヒルベルト空間内での目的関数の滑らかさに関する仮定に依存する。
• 過剰リスクの上界を最小化することで停止ルールが導出され、標本サイズの関数として最適なエポック数が得られる。

実験結果

リサーチクエスチョン

• RQ1 段階的オンライン学習アルゴリズムにおけるエポック数が、効果的な正則化パラメータとして機能できるか？
• RQ2 このような設定における早期停止は、普遍的一貫性（リスクの概収率収束）をもたらすか？
• RQ3 この正則化スキーム下で、過剰リスクおよび反復値の鋭い有限標本バウンドを導出できるか？
• RQ4 段階的反復正則化の性能は、古典的なティホノフ正則化と比較して収束速度の面でどう異なるか？
• RQ5 過剰リスクバウンドを最小化する最適な停止ルール（エポック数として）は何か？

主な発見

• エポック数が正則化パラメータとして機能し、早期停止によりリスクが最適値に概収率収束することが保証される。
• 反復値の有限標本バウンドが導出され、同じ設定下でティホノフ正則化の最良-knownレートと一致することが示された。
• 到達可能ケースでは最適停止ルールが t*(n) = ⌈n^{1/(2r+1)}⌉ であり、反復誤差の収束レートが O(n^{-(1/2-r)/(2r+1)}) となる。
• 過剰リスクに関しては、非到達可能ケースで最適停止ルールが t*(n) = ⌈n^{1/3}⌉ であり、収束レートが O(n^{-2r/3}) となる。
• 解析は容量に依存せず次元に依存しない。滑らかさと固有値の減衰に関する仮定のみに依存する。
• 結果から、確率的勾配法における複数回の走査（エポック）が、正則化の一形態として厳密に正当化され、広く用いられるヒューリスティックの理論的根拠が得られた。