[論文レビュー] Online Learning as Stochastic Approximation of Regularization Paths

Pierre Tarrès, Yuan Yao|arXiv (Cornell University)|Mar 29, 2011

Control Systems and Identification参考文献 17被引用数 11

ひとこと要約

本稿では、再帰的再生核ヒルバート空間（RKHS）における正則化経路を逐次的に近似するオンライン学習アルゴリズムを提案する。この手法は、RKHSノルムにおける最良の既知の強収束速度と、平均二乗誤差における最適な弱収束速度を達成する。関数の正則性に基づいて段階的に適切にステップサイズの系列を調整することにより、ヒルベルト空間におけるマルティングレイド型不等式を用いて、確率1収束を保証する。

ABSTRACT

In this paper, an online learning algorithm is proposed as sequential stochastic approximation of a regularization path converging to the regression function in reproducing kernel Hilbert spaces (RKHSs). We show that it is possible to produce the best known strong (RKHS norm) convergence rate of batch learning, through a careful choice of the gain or step size sequences, depending on regularity assumptions on the regression function. The corresponding weak (mean square distance) convergence rate is optimal in the sense that it reaches the minimax and individual lower rates in the literature. In both cases we deduce almost sure convergence, using Bernstein-type inequalities for martingales in Hilbert spaces. To achieve this we develop a bias-variance decomposition similar to the batch learning setting; the bias consists in the approximation and drift errors along the regularization path, which display the same rates of convergence, and the variance arises from the sample error analysed as a reverse martingale difference sequence. The rates above are obtained by an optimal trade-off between the bias and the variance.

研究の動機と目的

• 回帰関数推定のための、RKHSにおけるTikhonov正則化経路を近似するオンライン学習アルゴリズムの開発。
• バッチ学習から得られる既知の最良の結果に一致する、強収束（RKHSノルム）および弱収束（平均二乗誤差）のレートの確立。
• ヒルベルト空間におけるマルティングレイド濃縮不等式を用いて、確率1収束の証明。
• オンライン設定におけるバイアス・バリアンス分解の分析を行い、近似誤差、ドリフト誤差、および標本誤差を分離する。
• 関数の正則性に依存する適応的ステップサイズ系列を用いて、バイアスとバリアンスの最適なトレードオフを達成する。

提案手法

• アルゴリズムは、Tikhonov正則化によって定義される正則化経路に沿って、確率的近似スキームを用いて仮説を再帰的に更新する。
• バイアスは経路に沿った近似誤差とドリフト誤差に起因し、バリアンスは逆マルティングレイド差分系列としてモデル化された標本誤差に起因するバイアス・バリアンス分解を採用する。
• 関数の正則性に関する仮定に基づいて、バイアスとバリアンスのバランスを取るためにステップサイズ系列を適応的に選択する。
• 誤差の高確率的バウンドを導出するために、ヒルベルト空間におけるマルティングレイドのベルンシュタイン型不等式を分析に用いる。
• 正則化経路を追跡するために、標本共分散作用素の固有値特性と射影作用素の使用に依存する。
• 理論的保証は、無限大の標本サイズ、ノイズの可積分性、ステップサイズの和が収束するという仮定の下で導出される。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習は、バッチ学習と同等のRKHSノルムにおける強収束速度を達成できるか？
• RQ2 オンライン学習の弱収束速度は、ミニマックスおよび個別下界の意味で最適か？
• RQ3 マルティングレイド不等式を用いて、オンライン正則化経路近似の確率1収束を確立できるか？
• RQ4 オンライン学習におけるバイアス・バリアンス分解は、バッチ学習におけるそれとどのように比較できるか？
• RQ5 オンライン設定において、近似誤差と標本誤差の最適なトレードオフを保証するステップサイズ系列は何か？

主な発見

• 提案されたオンラインアルゴリズムは、バッチ学習から得られる最良の結果に一致する、RKHSノルムにおける最良の既知の強収束速度を達成する。
• 弱収束速度は最適であり、文献で確立されたミニマックスおよび個別下界に達している。
• ヒルベルト空間におけるマルティングレイドのベルンシュタイン型不等式を用いて、確率1収束が証明された。
• バイアス項は、近似誤差とドリフト誤差から構成され、両者ともバッチ学習と同一のレートで収束する。
• 標本誤差に起因するバリアンス項は、制御された成長を示す逆マルティングレイド差分系列として分析された。
• 関数の正則性に関する仮定に基づいて、バイアスとバリアンスの最良のトレードオフを保証する最適なステップサイズ系列が導出された。