[論文レビュー] Less is More: Nyström Computational Regularization

Alessandro Rudi, Raffaello Camoriano+1 more|arXiv (Cornell University)|Jul 17, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用数 10

ひとこと要約

本稿では、大規模カーネル法におけるNyströmに基づく計算正則化手法を提案する。ここで、部分抽出の水準が計算コストと一般化性能のバランスを取る正則化パラメータとして機能する。確率的サンプリングの下で最適な学習境界を証明し、インクリメンタルなカーネル正則化最小二乗法を用いて、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

We study Nyström type subsampling approaches to large scale kernel methods, and prove learning bounds in the statistical learning setting, where random sampling and high probability estimates are considered. In particular, we prove that these approaches can achieve optimal learning bounds, provided the subsampling level is suitably chosen. These results suggest a simple incremental variant of Nyström Kernel Regularized Least Squares, where the subsampling level implements a form of computational regularization, in the sense that it controls at the same time regularization and computations. Extensive experimental analysis shows that the considered approach achieves state of the art performances on benchmark large scale datasets.

研究の動機と目的

• 大規模カーネル法におけるNyström型部分抽出の統計的一般化特性を調査すること。
• 統計的学習フレームワークにおける確率的サンプリングと高確率推定の下で学習境界を確立すること。
• 部分抽出の水準が、計算と正則化の両方を同時に制御できる計算正則化の形として機能できることを示すこと。
• スケーラビリティとパフォーマンスの向上を図った、Nyströmカーネル正則化最小二乗法のインクリメンタル変種の開発と評価すること。

提案手法

• 本手法は、計算複雑性を低減するために、Nyström手法を用いてカーネル行列の確率的部分抽出を実行する。
• 精度と効率のバランスを取るために、部分抽出水準を動的に調整するインクリメンタルアルゴリズムを定式化する。
• 理論的分析により、部分抽出水準を適切に選択すれば最適な学習境界が達成可能であることを証明する。
• 部分抽出水準を正則化パラメータとして扱い、計算コストをモデルの一般化性能に直接結びつける。
• 大規模データセットにおけるスケーラブルな学習を可能にする、カーネル正則化最小二乗法のインクリメンタル変種としてフレームワークを実装する。
• 確率的サンプリングの仮定の下で、高確率の学習境界を導出することで、統計的信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 確率的サンプリングの下で、Nyström部分抽出は大規模カーネル法において最適な学習境界を達成できるか？
• RQ2 部分抽出水準の選択が、計算コストと一般化性能の両方にどのように影響するか？
• RQ3 部分抽出水準は、計算と正則化の両方を制御する計算正則化の形として機能できるか？
• RQ4 提案されたインクリメンタルNyström手法は、標準的な大規模ベンチマークで既存手法を上回る性能を示すか？
• RQ5 確率的サンプリングの下で、Nyströmベースのカーネル法の一般化誤差に対してどのような理論的保証を提供できるか？

主な発見

• 部分抽出水準を適切に選択すれば、提案手法が最適な学習境界を達成し、理論的最適性を確認した。
• 部分抽出水準は、モデルの複雑さと計算コストの両方を同時に制御することで、計算正則化を効果的に実装した。
• インクリメンタルNyströmカーネル正則化最小二乗法の変種は、大規模ベンチマークデータセットで最先端の性能を示した。
• 広範な実験により、本手法のスケーラビリティと、既存手法に比べ優れた一般化性能が確認された。
• 理論的分析により、高確率推定が支持され、確率的サンプリングの仮定のもとで堅牢性が保証された。
• 結果として、部分抽出によってデータ量を減らしても、部分抽出水準を正則化パラメータとして適切に調整すれば、一般化性能が向上することが実証された。