[論文レビュー] Controlled Sparsity Kernel Learning

Dinesh Govindaraj, Raman Sankaran+2 more|arXiv (Cornell University)|Dec 31, 2013

Machine Learning and ELM参考文献 7被引用数 4

ひとこと要約

本稿では、パラメータ $ t $ を用いて選択されたカーネル数を明示的に制御する、制御されたスパarsityカーネル学習（CSKL）という、新たなMultiple Kernel Learning（MKL）フレームワークを提案する。これは、モデルのスパarsityを正確に調整可能にする。$ L_p $-ノルムの定式化とは異なり、$ p $ には直接的な解釈がなく、CSKLでは有限で離散的な $ t $ の探索を採用し、収束が速いリダクション勾配降下法を用いる。Caltech101における実験では、CSKLはスパース（SimpleMKL）および非スパース（L2-MKL）のベースラインを上回る高い精度を達成し、ユーザーが制御可能な最適なカーネル数を選択している。

ABSTRACT

Multiple Kernel Learning(MKL) on Support Vector Machines(SVMs) has been a popular front of research in recent times due to its success in application problems like Object Categorization. This success is due to the fact that MKL has the ability to choose from a variety of feature kernels to identify the optimal kernel combination. But the initial formulation of MKL was only able to select the best of the features and misses out many other informative kernels presented. To overcome this, the Lp norm based formulation was proposed by Kloft et. al. This formulation is capable of choosing a non-sparse set of kernels through a control parameter p. Unfortunately, the parameter p does not have a direct meaning to the number of kernels selected. We have observed that stricter control over the number of kernels selected gives us an edge over these techniques in terms of accuracy of classification and also helps us to fine tune the algorithms to the time requirements at hand. In this work, we propose a Controlled Sparsity Kernel Learning (CSKL) formulation that can strictly control the number of kernels which we wish to select. The CSKL formulation introduces a parameter t which directly corresponds to the number of kernels selected. It is important to note that a search in t space is finite and fast as compared to p. We have also provided an efficient Reduced Gradient Descent based algorithm to solve the CSKL formulation, which is proven to converge. Through our experiments on the Caltech101 Object Categorization dataset, we have also shown that one can achieve better accuracies than the previous formulations through the right choice of t.

研究の動機と目的

• 既存のMultiple Kernel Learning（MKL）定式化において、選択されたカーネル数に明示的な制御がないという問題に対処すること。
• $ L_p $-ノルムMKLの限界を克服すること、特にパrameter $ p $ が選択されたカーネル数に対応しないこと。
• ユーザーが使用するカーネル数を明示的に調整可能にする定式化を開発し、精度と計算効率のバランスをとること。
• $ \nu $-SVMにMKLフレームワークを拡張し、サポートベクター数とトレーニング誤差の両方を制御可能にすること。
• 制御されたスパarsityが、オブジェクト分類タスクにおいて優れた分類性能をもたらすことを実証的に検証すること。

提案手法

• カーネル数がパrameter $ t $ で明示的に制御される新しいMKL定式化、制御されたスパarsityカーネル学習（CSKL）を提案する。
• カーネル結合において、正確に $ t $ 個のカーネルが非ゼロとなるように制約付き最適化問題を定式化する。
• CSKL定式化を解くためのリダクション勾配降下法を開発し、定常点に収束することが証明されている。
• CSKLフレームワークを $ \nu $-SVMに拡張し、$ \nu $ を用いてスパarsityとトレーニング誤差の両方を制御可能にする。
• $ L_p $-ノルム定式化の連続的 $ p $-空間とは異なり、$ t $ に対して有限な探索空間を採用することで、計算効率を高める。
• ブロック構造のカーネル結合を採用し、ブロック内では $ \ell_1 $-ノルム正則化を適用するとともに、活性ブロック数に明示的な基数制約を課す。

実験結果

リサーチクエスチョン

• RQ1 カーネル選択数に対する明示的制御が、Multiple Kernel Learningにおける分類精度を向上させ得るか？
• RQ2 有限で離散的なカーネル数探索（$ t $）は、$ L_p $-ノルムMKLにおける連続的パrameter化（$ p $）に比べ、より優れた性能と効率を提供するか？
• RQ3 実世界のオブジェクト分類タスクにおいて、制御されたスパarsityは、スパース（例：SimpleMKL）および非スパース（例：$ L_2 $-MKL）定式化と比較してどのように評価されるか？
• RQ4 $ \nu $-SVMへのCSKLの拡張は、サポートベクター数と分類精度の間のトレードオフをより良く制御できるか？
• RQ5 オブジェクト認識における多様な二値分類問題において、性能を最大化する最適な $ t $ 値が存在するか？

主な発見

• Caltech101の1対1設定において、$ \nu $-CSKLは5151個の二値分類器のうち5112個で $ L_2 $-MKLを上回った。
• 1対Rest設定では、$ \nu $-CSKLは102個の分類器のうち97個で $ L_2 $-MKLを上回り、102個のうち91個でSimpleMKLを上回った。
• CSKLは $ L_2 $-MKLと同等の性能を達成したが、使用カーネル数が著しく少なかった。$ t = 4 $ を超えると、精度は飽和した。
• CSKLが選択する最適なカーネル数は、通常、利用可能な全カーネル数より少なかったため、すべてのカーネルが同等に寄与するわけではないことが示された。
• ヒストограмの結果、CSKLは通常、SimpleMKL（しばしば1〜2個しか選ばない）よりも多くの記述子を選択し、$ L_2 $-MKL（すべてを選択する）よりも少ない数を選択しており、バランスの取れた高性能なサブセットを効果的に特定できていることが確認された。
• CSKLが選択する記述子数は $ t $ とともに単調に増加し、$ t $ が最適範囲を超えると20個すべてのカーネルが選択される。これにより、モデルの制御可能性が裏付けられた。