[論文レビュー] Distance Metric Learning for Kernel Machines

Zhixiang Xu, Kilian Q. Weinberger+1 more|arXiv (Cornell University)|Aug 16, 2012

Face and Expression Recognition参考文献 31被引用数 43

ひとこと要約

本稿では、検証誤差を最小化するためにマハラノビス距離係数とSVM-RBFパラメータを同時に最適化する、新しいアルゴリズムであるサポートベクターメトリック学習（SVML）を提案する。SVMLは、9つのベンチマークデータセットにおいて、SVMに適した最新のメトリック学習手法を上回り、交差検証や手動によるハイパーパramータチューニングを必要とせずに優れた精度を達成する。

ABSTRACT

Recent work in metric learning has significantly improved the state-of-the-art in k-nearest neighbor classification. Support vector machines (SVM), particularly with RBF kernels, are amongst the most popular classification algorithms that uses distance metrics to compare examples. This paper provides an empirical analysis of the efficacy of three of the most popular Mahalanobis metric learning algorithms as pre-processing for SVM training. We show that none of these algorithms generate metrics that lead to particularly satisfying improvements for SVM-RBF classification. As a remedy we introduce support vector metric learning (SVML), a novel algorithm that seamlessly combines the learning of a Mahalanobis metric with the training of the RBF-SVM parameters. We demonstrate the capabilities of SVML on nine benchmark data sets of varying sizes and difficulties. In our study, SVML outperforms all alternative state-of-the-art metric learning algorithms in terms of accuracy and establishes itself as a serious alternative to the standard Euclidean metric with model selection by cross validation.

研究の動機と目的

• k-NN用に最適化された従来のメトリック学習アルゴリズムは、SVM-RBF分類器に適用すると性能を発揮しないというギャップを埋める。
• 従来のマハラノビスメトリック学習手法が、SVM-RBF分類性能を向上させるかどうかを調査する。
• 一般化性能を向上させるために、距離係数とSVMパラメータを同時に最適化する統合学習フレームワークを構築する。
• 2段階のメトリック学習アプローチと比較して、統合最適化がより高い精度と頑健性をもたらすかどうかを実証する。
• 交差検証を不要としつつ、性能を維持または向上させる、SVMユーザー向けの即挿しソリューションを提供する。

提案手法

• SVMの構造的リスク最小化目的関数を用いて、SVMの学習とマハラノビス係数の学習を1ステップで行う統合最適化フレームワークを提案する。
• 検証誤差のサロゲート関数を最小化する半定値計画問題として学習問題を定式化し、変換行列Lを同時に学習する。
• パラメータ空間を削減し、計算効率を向上させるために、球面型および対角型のSVMLバージョンを導入する。
• 勾配ベース最適化を用いて、マハラノビス係数とSVMの双対変数を同時に更新し、最終分類器の意思決定境界と整合させる。
• 学習済みメトリックを直接RBFカーネル関数に統合し、カーネル類似度と分類性能をエンドツーエンドで最適化する。
• ハイパーパramータに依存しないため、デフォルト設定でも強力な性能を発揮し、交差検証を必要としないようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 k-NN分類に最適化された既存のマハラノビスメトリック学習アルゴリズムは、SVM-RBFの前処理として用いた場合、性能が向上するか？
• RQ2 距離係数とSVMパラメータを同時に最適化する統合学習フレームワークは、2段階アプローチと比較してより優れた一般化性能を達成できるか？
• RQ3 SVMLの性能は、交差検証で最適化された標準SVM-RBF（ユークリッド距離）と比較して、多様なデータセットでどのように異なるか？
• RQ4 SVMLはハイパーパramータの選択に対してどれほど頑健であり、実際の応用で交差検証を排除できるか？
• RQ5 メトリックと分類器の統合最適化は、より解釈可能な意思決定境界とより良いデータ表現をもたらすか？

主な発見

• k-NN向けに設計された広く使われている3つのメトリック学習アルゴリズム（LMNN、NCA、ITML）は、SVM-RBF分類の前処理として用いても、統計的に有意な性能向上を示さない。
• SVMLは9つのベンチマークデータセットで最先端の分類精度を達成し、交差検証で最適化された標準SVM-RBFおよび他のメトリック学習ベースラインを一貫して上回る。
• SVMLはサイズや複雑さが異なるデータセットにおいても高い性能を維持し、優れた一般化性能と頑健性を示す。
• アルゴリズムはハイパーパramータ設定に対して極めて感受性が低く、デフォルト値でも強力な結果を達成し、時間のかかる交差検証を不要にする。
• 可視化結果から、PCA、LMNN、NCAと比較して、SVMLは変換空間でクラスの分離が明確で、より解釈可能な意思決定境界を生成することがわかる。
• SVMLは標準SVM-RBFのトレーニングと同等の計算コストで、顕著に高い精度を達成するため、実用的で効率的な代替手段である。