[論文レビュー] F-SVM: Combination of Feature Transformation and SVM Learning via Convex Relaxation

Xiaohe Wu, Wangmeng Zuo+2 more|arXiv (Cornell University)|Apr 20, 2015

Face and Expression Recognition参考文献 31被引用数 5

ひとこと要約

本稿では、特徴変換と分類器を同時に学習するための新しい凸半径-マージンに基づくSVMモデル、F-SVMを提案する。凸緩和を用いて最小包囲球半径のタイトな境界を導出し、勾配降下法とSVMソルバを組み合わせた交互最適化フレームワークを採用することで、UCIおよびLFWデータセットにおいて従来のSVMおよび既存の半径-マージン手法と比較して優れた分類精度と計算効率を達成する。

ABSTRACT

The generalization error bound of support vector machine (SVM) depends on the ratio of radius and margin, while standard SVM only considers the maximization of the margin but ignores the minimization of the radius. Several approaches have been proposed to integrate radius and margin for joint learning of feature transformation and SVM classifier. However, most of them either require the form of the transformation matrix to be diagonal, or are non-convex and computationally expensive. In this paper, we suggest a novel approximation for the radius of minimum enclosing ball (MEB) in feature space, and then propose a convex radius-margin based SVM model for joint learning of feature transformation and SVM classifier, i.e., F-SVM. An alternating minimization method is adopted to solve the F-SVM model, where the feature transformation is updatedvia gradient descent and the classifier is updated by employing the existing SVM solver. By incorporating with kernel principal component analysis, F-SVM is further extended for joint learning of nonlinear transformation and classifier. Experimental results on the UCI machine learning datasets and the LFW face datasets show that F-SVM outperforms the standard SVM and the existing radius-margin based SVMs, e.g., RMM, R-SVM+ and R-SVM+μ.

研究の動機と目的

• 標準SVMがマージンのみを最適化するため、特徴変換と分類の統合的最適化において一般化性能が劣ることがあるという制限を解消すること。
• 半径-マージン比を同時に最小化する凸最適化フレームワークを構築し、一般化誤差の境界を改善すること。
• R-SVM+ や RMM などの既存の半径-マージンSVMが示す計算非効率性および変換行列に対する制限的仮定（例：対角行列）を克服すること。
• 交互最小化アルゴリズムを用いて、市販のSVMソルバを活用することで、効率的かつスケーラブルな学習を可能にすること。
• カーネルPCAを用いることで非線形分類に拡張し、非線形変換と分類器の統合的学習を可能にすること。

提案手法

• 特徴空間における最小包囲球（MEB）半径のタイトな下限および上限を導出し、半径-マージン比の新しい凸緩和を提案する。
• 従来の近似手法よりも単純かつ効果的なMEB半径の近似を導入し、最適化モデルへの効率的統合を可能にする。
• 勾配降下法による特徴変換の更新と、標準SVMソルバによる分類器の更新を交互に繰り返す、交互最小化アルゴリズムを構築する。
• 収束性とロバストネスを向上させるために、半ホワイトニングPCA法を用いて変換行列 M = L^T L を初期化する。
• カーネルPCAの特徴空間に線形F-SVMを適用することで、カーネル化されたケースへの拡張を実現し、非線形特徴変換の学習を可能にする。
• M ≻ 0 の条件下で w^T M^{-1}w を含む目的関数が凸であることを示すことにより、F-SVM最適化問題の凸性を証明する。

実験結果

リサーチクエスチョン

• RQ1 変換行列に制限的仮定を課さずに、特徴変換と分類器の統合的学習を可能にする、半径-マージン比の凸定式化を導出できるか？
• RQ2 よりタイトで単純な最小包囲球半径の近似は、一般化性能と計算効率の向上に寄与するか？
• RQ3 勾配降下法と市販SVMソルバを組み合わせた交互最適化戦略は、非凸的または対角制約付きの手法と比較して、より優れた性能とスケーラビリティを達成できるか？
• RQ4 ベンチマークデータセットにおいて、F-SVMは最先端の半径-マージンに基づくSVMと比較して、精度と学習時間の両面で優れているか？
• RQ5 カーネルPCAを用いたF-SVMフレームワークは、非線形分類に効果的に拡張可能か？

主な発見

• F-SVMはUCI機械学習データセットにおいて、標準SVMおよびRMM、R-SVM+、RSVM+μといった既存の半径-マージン手法を上回る最高の分類精度を達成する。
• LFW顔データセットでは、F-SVM-combinedが83.25%の精度を示し、2番目に優れた手法（R-SVM+μ-combined：81.90%）を上回る。
• F-SVMは、非凸的または複雑な制約付き代替手法（例：RMM や R-SVM+μ）と比較して、学習における優れた計算効率を示す。
• 提案された凸定式化により、グローバル収束性と外れ値に対するロバストネスが実験結果で裏付けられる。
• カーネルPCAを用いたF-SVMのカーネル化拡張により、非線形変換と分類器の効果的な統合的学習が可能となり、顔認証タスクにおいても高い性能を維持する。
• 理論的分析により、F-SVM最適化問題の凸性が確認され、安定的かつ信頼性の高い最適化が保証される。