[論文レビュー] Data-dependent kernels in nearly-linear time

Guy Lever, Tom Diethe+1 more|arXiv (Cornell University)|Oct 20, 2011

Gaussian Processes and Bayesian Inference参考文献 22被引用数 8

ひとこと要約

この論文は、データに依存するカーネルを構築するためのほぼ線形時間の手法を提案している。これは、インフォームド正則化子をデータポイントの小さな部分集合を用いて近似することで実現され、スケーラブルな半教師ありおよび教師なし学習を可能にする。この手法は、全データ正則化を補間による低ランク近似に置き換えることで、LapSVMと同等の性能を達成しながら、計算量を立方時間からほぼ線形時間に削減する。64,000ポイントのデータセットでさえも有効である。

ABSTRACT

We propose a method to efficiently construct data-dependent kernels which can make use of large quantities of (unlabeled) data. Our construction makes an approximation in the standard construction of semi-supervised kernels in Sindhwani et al. 2005. In typical cases these kernels can be computed in nearly-linear time (in the amount of data), improving on the cubic time of the standard construction, enabling large scale semi-supervised learning in a variety of contexts. The methods are validated on semi-supervised and unsupervised problems on data sets containing upto 64,000 sample points.

研究の動機と目的

• 標準的な半教師ありカーネル構築における立方時間のボトルネックを解消し、大規模データセットへのスケーラビリティを向上させること。
• 正則化行列を構築するのに使用するポイント数と関数を評価するのに使用するポイント数を分離することで、カーネル手法において大量の未ラベル付きデータを活用できるようにすること。
• 完全なカーネル手法に近い性能を維持しながら、インフォームド正則化子の計算効率の良い近似を開発すること。
• 64,000サンプルを含む、さまざまなサイズのデータセットにおいて分類およびクラスタリングタスクの両方で、この手法を検証すること。

提案手法

• この手法は、関数をすべてのnポイントではなく、小さな部分集合のポイントでのみ測定することで、標準的なデータに依存するカーネルを近似する。
• 関数値を部分集合で補間するために正則化行列Qの疑似逆行列を用い、近似的なインフォームド正則化子を構築する。
• 滑らかな関数に対しては、このように得られる正則化子regQ(h*)が、完全な正則化子regQ(h)を近似し、計算コストを削減する。
• この低減された正則化子を成分として含む再生核ヒルベルト空間（RKHS）でカーネルが形成される。
• 部分的に線形時間でカーネル行列を計算するために、組合せのプリコンディショナを用いたプリコンディショニング付き共役勾配法などの効率的な線形システムソルバーが使用される。
• このアプローチは任意のカーネル手法に適用可能であり、SVMおよびK-meansクラスタリングを用いて検証されている。

実験結果

リサーチクエスチョン

• RQ1 完全なカーネル手法の性能を維持しつつ、ほぼ線形時間でデータに依存するカーネルを構築することは可能か？
• RQ2 すべてのデータポイントではなく小さな部分集合での関数測定が、インフォームド正則化子の良い近似をもたらすか？
• RQ3 標準的な半教師ありカーネル構築が非効率になるような大規模データセット（例：64,000ポイント）に対しても、この手法はスケーラブルか？
• RQ4 この効率的カーネルの性能は、標準的なRBFカーネルや、大部分の未ラベル付きデータを破棄する「予算制限付き」LapSVMと比べてどうか？

主な発見

• この手法は、正則化行列Qの非ゼロ要素数に比例して、立方時間から線形時間にまで計算量を削減することで、ほぼ線形時間で半教師ありカーネルを計算する。
• 64,000ポイントを含むMNISTデータセットでは、カーネルが3分未塔で計算され、実用的なスケーラビリティが示された。
• 大規模データセットにおいて、この効率的カーネルはRBFカーネルや「予算制限付き」LapSVMを上回り、より多くの未ラベル付きデータを活用した明確な利点を示した。
• 小さなデータセット（例：1,250ポイント）では、この手法は完全なLapSVMと同等の性能を達成した。
• クラスタリング実験では、500個のベーシスポイントのみを用いた手法でも、1,000ポイントのデータに対して完全なLapSVMカーネルとほぼ同等の性能を達成した。
• プリコンディショニング付き共役勾配ソルバーは、ほぼ線形スケーリングを達成したが、MATLABの「バックスラッシュ」演算子は、より大きなデータセットで超線形の増加を示した。