[論文レビュー] Optimal learning rates for localized SVMs

Mona Meister, Ingo Steinwart|arXiv (Cornell University)|Jan 1, 2016

Face and Expression Recognition参考文献 59被引用数 35

ひとこと要約

本稿では、ガウスカーネルと最小二乗損失を用いた空間局所化されたSVM手法を提案し、計算コストを著しく削減しながらほぼミニマックス最適な学習速度を達成する。データをランダム性ではなく空間的近接性に基づいて分割することで、高いテスト精度を維持しながら学習時間を短縮し、全体的な効率性と性能においてランダムなチャンク分割を上回る。

ABSTRACT

One of the limiting factors of using support vector machines (SVMs) in large scale applications are their super-linear computational requirements in terms of the number of training samples. To address this issue, several approaches that train SVMs on many small chunks separately have been proposed in the literature. With the exception of random chunks, which is also known as divide-and-conquer kernel ridge regression, however, these approaches have only been empirically investigated. In this work we investigate a spatially oriented method to generate the chunks. For the resulting localized SVM that uses Gaussian kernels and the least squares loss we derive an oracle inequality, which in turn is used to deduce learning rates that are essentially minimax optimal under some standard smoothness assumptions on the regression function. In addition, we derive local learning rates that are based on the local smoothness of the regression function. We further introduce a data-dependent parameter selection method for our local SVM approach and show that this method achieves the same almost optimal learning rates. Finally, we present a few larger scale experiments for our localized SVM showing that it achieves essentially the same test error as a global SVM for a fraction of the computational requirements. In addition, it turns out that the computational requirements for the local SVMs are similar to those of a vanilla random chunk approach, while the achieved test errors are significantly better.

研究の動機と目的

• 大規模応用におけるグローバルSVMの超線形計算コストを解消すること。
• 訓練データを局所的なチャンクに分割する空間的インフォームドな手法を開発し、学習効率を向上させること。
• 回帰関数の滑らかさに関する仮定の下で、局所化SVMの理論的学習速度を導出すること。
• 理論的最適選択と同等の学習速度を達成できるデータ駆動型のパrameter選択法を導入すること。
• 局所化SVMがグローバルSVMと同等のテスト精度を達成しながら、計算コストを大幅に削減することを実験的に検証すること。

提案手法

• 入力空間をグリッドまたはクラスタリングに基づくアプローチで空間的に局所化された領域に分割し、訓練チャンクを形成する。
• 各局所SVMは、ガウスカーネルと最小二乗損失を用いて、空間的に制限されたデータサブセット上で独立に学習される。
• 一般化誤差のバインドを可能にするためのオракル不等式が導出され、理論的学習速度分析が可能になる。
• 局所的滑らかさに基づく学習速度が導出され、非一様なデータ滑らかさへの適応性が向上する。
• 最適収束速度を達成できるように、ハイパーパrameterを自動的に調整するデータに依存するパrameter選択ルールが導入される。
• 理論的分析により、提案手法が標準的な滑らかさ条件の下で本質的にミニマックス最適な学習速度を達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 訓練データの空間的局所化による分割が、SVMに対してほぼミニマックス最適な学習速度を達成できるか？
• RQ2 回帰関数の局所的滑らかさが、局所化SVMにおける学習速度にどのように影響するか？
• RQ3 データ駆動型のパrameter選択法が、理論的最適選択と同等の学習速度を達成できるか？
• RQ4 局所化SVMの計算コストは、グローバルSVMおよびランダムチャンク分割SVMと比べてどうか？
• RQ5 局所化SVMは、学習時間を短縮しながらも、グローバルSVMと同等のテスト精度を維持できるか？

主な発見

• 標準的な回帰関数の滑らかさ仮定の下で、局所化SVMは本質的にミニマックス最適な学習速度を達成する。
• 回帰関数の局所的滑らかさに基づく局所的学習速度は、非一様なデータにおける適応性と性能を向上させる。
• 提案されたデータに依存するパrameter選択法は、滑らかさの事前知識がなくても、ほぼ最適な学習速度を達成する。
• 大規模な実験では、局所化SVMがグローバルSVMと同等のテスト誤差を達成しながら、計算リソースの僅か一部で実現可能であることが示された。
• 局所化SVMの計算コストはランダムチャンク分割と同等であるが、テスト誤差は顕著に低く抑えられており、優れた効率性-精度トレードオフを示している。