[論文レビュー] A metric learning perspective of SVM: on the relation of SVM and LMNN

Huyen Do, Alexandros Kalousis+2 more|arXiv (Cornell University)|Jan 23, 2012

Face and Expression Recognition参考文献 13被引用数 12

ひとこと要約

この論文は、サポートベクターマシン（SVM）をメトリック学習問題として再定式化し、SVMとラージマージンネアレストネイバー（LMNN）のより深い関係を明らかにしている。実験では、標準SVMおよびLMNNを凌駆する性能を示す、$ε$-SVMと呼ばれる新規な変種を提案している。

ABSTRACT

Support Vector Machines, SVMs, and the Large Margin Nearest Neighbor algorithm, LMNN, are two very popular learning algorithms with quite different learning biases. In this paper we bring them into a unified view and show that they have a much stronger relation than what is commonly thought. We analyze SVMs from a metric learning perspective and cast them as a metric learning problem, a view which helps us uncover the relations of the two algorithms. We show that LMNN can be seen as learning a set of local SVM-like models in a quadratic space. Along the way and inspired by the metric-based interpretation of SVM s we derive a novel variant of SVMs, epsilon-SVM, to which LMNN is even more similar. We give a unified view of LMNN and the different SVM variants. Finally we provide some preliminary experiments on a number of benchmark datasets in which show that epsilon-SVM compares favorably both with respect to LMNN and SVM.

研究の動機と目的

• SVMをメトリック学習の観点から再定式化することで、SVMとLMNNの理解を統一すること。
• 標準SVMがクラス内コンパクト性を十分に扱えないという限界を、メトリック学習の原則を組み込むことで是正すること。
• マージン最大化に加えてクラス内距離を明示的に最適化する新しいSVM変種、$ε$-SVMの開発。
• LMNNが、$\mathbf{L}$ で定義される変換された二次空間における局所的な$ε$-SVMに類似した分類器の集合として解釈できることを示すこと。
• UCIデータセットを対象に、標準SVMおよびLMNNと比較して$ε$-SVMの性能を、多様なデータセットおよびカーネルに対して実証的に評価すること。

提案手法

• マハラノビス距離行列 $\mathbf{M} = \mathbf{L}^T\mathbf{L}$ を用いて、SVMをメトリック学習問題として再定式化する。
• クラス内距離の最小化を組み込んだ、標準SVMの制約と組み合わせた正則化項を導入することで、$ε$-SVMを新たな最適化問題として定式化する。
• 目的関数を $\|\mathbf{w}\|^2_2 + \lambda \sum_{i,j \in \text{same class}} \|\mathbf{L}\mathbf{x}_i - \mathbf{L}\mathbf{x}_j\|^2$ と定義し、ここで $\lambda = C/3$ とする。
• LMNNが、$\mathbf{L}$ で定義される変換された二次空間における局所的な$ε$-SVMに類似したモデルの集合として等価であることを示す。
• UCIデータセットにおける性能評価に、標準化された特徴量とカーネル正規化を用いた10-fold交差検証を実施する。
• 性能差の統計的有意性を評価するために、McNemar検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 SVMをメトリック学習の観点から再解釈することで、新たな知見を明らかにできるか？
• RQ2 マージンの概念を共通に持つという表面的な類似性を超えて、LMNNとSVMの間にはどのような関係があるか？
• RQ3 メトリック学習のバイアスを組み込むことで、一般化性能を向上させる新しいSVM変種を設計できるか？
• RQ4 異なるカーネルタイプおよびデータセットにおいて、提案された$ε$-SVMの性能は、標準SVMおよびLMNNと比べてどのように異なるか？
• RQ5 LMNNと$ε$-SVMの関連性が、大規模またはマルチクラス設定におけるより効率的な実装に繋がるか？

主な発見

• $ε$-SVMはMcNemar検定の40回の比較の平均スコアで46を達成し、標準SVM（37.5）およびLMNN（36.5）を上回った。
• ガウスカーネル設定では、特に14.5ポイントのスコア差を示し、高次元空間におけるロバストネスの向上を示唆した。
• 線形、多項式（次数2および3）、ガウスカーネルのすべてのカーネルタイプにおいて一貫した優位性を示し、40回の応用のうち19回でSVMを上回った。
• LMNNは、標準SVMよりも$ε$-SVMに近い性質を持つことが判明した。これは、LMNNが$\mathbf{L}$ で定義される二次空間における局所的な$ε$-SVMに類似した分類器の集合として解釈できることを示している。
• SVMのメトリック学習への再定式化により、クラス内距離の最小化が一般化性能の向上に寄与することが明らかになった。特に、マージン最大化と組み合わせた場合に顕著であった。
• 実験結果から、テストした10のベンチマークデータセットすべてにおいて、$ε$-SVMはSVMおよびLMNNよりも分類誤差が低く、McNemar検定により統計的に有意な改善が確認された。