[論文レビュー] On the Complexity of Learning with Kernels

Nicolò Cesa‐Bianchi, Yishay Mansour+1 more|arXiv (Cornell University)|Nov 5, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 8

ひとこと要約

本論文は、カーネル学習の計算複雑性に関する基本的な下界を確立し、特定の問題では、限定的なカーネル行列要素や低ランク近似に依存するいかなる手法でも非自明な計算上の節約を達成できないことを示している。主な貢献は、損失関数、正則化、予測子ノルム、カーネル行列のランクに依存して、効率的なカーネル学習が本質的に不可能である状況を理論的に特徴づけている点である。

ABSTRACT

A well-recognized limitation of kernel learning is the requirement to handle a kernel matrix, whose size is quadratic in the number of training examples. Many methods have been proposed to reduce this computational cost, mostly by using a subset of the kernel matrix entries, or some form of low-rank matrix approximation, or a random projection method. In this paper, we study lower bounds on the error attainable by such methods as a function of the number of entries observed in the kernel matrix or the rank of an approximate kernel matrix. We show that there are kernel learning problems where no such method will lead to non-trivial computational savings. Our results also quantify how the problem difficulty depends on parameters such as the nature of the loss function, the regularization parameter, the norm of the desired predictor, and the kernel matrix rank. Our results also suggest cases where more efficient kernel learning might be possible.

研究の動機と目的

• サブセットサンプリングや低ランク近似といった一般的な手法にもかかわらず、カーネル学習における本質的な計算的障壁を特定すること。
• カーネル学習問題において非自明な誤差バインディングを達成するために必要な最小のカーネル要素数またはランクを定量化すること。
• 問題の難易度が損失関数の種類、正則化パラメータ、予測子ノルム、カーネル行列のランクにどのように依存するかを分析すること。
• より効率的なカーネル学習が依然として可能である条件を特定すること。

提案手法

• カーネル行列の限定的な要素数しかアクセスしないいかなるカーネル学習アルゴリズムに対しても、誤差の下界を導出する。
• 観測されたカーネル要素の数と達成可能な一般化誤差のトレードオフを分析する。
• スペクトル分解と行列近似技術を用いて、カーネル行列の構造と学習複雑性の関係を関連付ける。
• 既知の難問への還元を用いて、特定のカーネル学習問題が効率的に近似できないことを示す。
• 完全なカーネル行列へのアクセスと低ランク近似を、計算制約として両方とも検討する。
• レプresenter定理を適用して、学習問題を訓練特徴の線形空間上の係数ベクトルの最適化問題に還元する。

実験結果

リサーチクエスチョン

• RQ1 カーネル行列の要素をサブラインア数しか観測しない場合、カーネル学習を効率的に近似することは可能か？
• RQ2 カーネル行列の低ランク近似を用いて非自明な誤差バインディングを達成することは可能か？
• RQ3 損失関数の選択がカーネル学習の計算複雑性にどのように影響するか？
• RQ4 正則化パラメータは、効率的なカーネル学習の実現可能性にどのような役割を果たすか？
• RQ5 どのような条件下で、効率的なカーネル学習は証明的に不可能となるか？

主な発見

• サブラインア数のカーネル要素のサンプリングに依存するいかなる手法でも非自明な誤差バインディングを達成できないカーネル学習問題が存在する。
• 所望の誤差レベルに到達するための必要なカーネル要素数は、カーネル行列のランクと損失関数の性質に依存する。
• 特定の損失関数と正則化パラメータでは、低ランク近似ですら計算上の節約を提供できない場合がある。
• カーネル学習の難易度は、望ましい予測子のノルムとカーネル行列のスペクトル特性に定量的に関連している。
• より効率的なカーネル学習が理論的に可能である特定のパrameter領域を同定し、難易度の高い場合と tractable（扱いやすい）な場合の境界を示している。
• 一部の問題では、良い一般化を達成するためにカーネル行列の完全な計算が必要であり、スケーラブルな近似が排除されるという結果が導かれる。