[論文レビュー] Safe Sample Screening for Support Vector Machines

Kohei Ogawa, Yoshiki Suzuki+2 more|arXiv (Cornell University)|Jan 27, 2014

Face and Expression Recognition参考文献 29被引用数 9

ひとこと要約

この論文は、サポートベクターマシン（SVM）のための新しい安全なサンプルスクリーニング手法を提案し、トレーニングの前段階で非サポートベクターを保証的に特定することで、大幅な計算コストの削減を実現する。双対性と最適性条件を活用することで、解の最適性を損なわずに最大90％のサンプルをスクリーニング可能となり、SVMのトレーニングおよび正則化パスの計算が著しく高速化される。

ABSTRACT

Sparse classifiers such as the support vector machines (SVM) are efficient in test-phases because the classifier is characterized only by a subset of the samples called support vectors (SVs), and the rest of the samples (non SVs) have no influence on the classification result. However, the advantage of the sparsity has not been fully exploited in training phases because it is generally difficult to know which sample turns out to be SV beforehand. In this paper, we introduce a new approach called safe sample screening that enables us to identify a subset of the non-SVs and screen them out prior to the training phase. Our approach is different from existing heuristic approaches in the sense that the screened samples are guaranteed to be non-SVs at the optimal solution. We investigate the advantage of the safe sample screening approach through intensive numerical experiments, and demonstrate that it can substantially decrease the computational cost of the state-of-the-art SVM solvers such as LIBSVM. In the current big data era, we believe that safe sample screening would be of great practical importance since the data size can be reduced without sacrificing the optimality of the final solution.

研究の動機と目的

• SVMトレーニングの非効率性に対処すること。最終的なモデルにおいてサポートベクターが疎であるにもかかわらず、計算の大部分がサポートベクターの特定に費やされている。
• トレーニングの前段階で、真に非サポートベクターと保証的に特定できる手法を開発し、最適性の損失がないことを保証すること。
• LIBSVM や LIBLINEAR といった最先端のSVMソルバーの効率を向上させ、正則化パスを用いたより迅速なモデル選択を可能にすること。
• 特徴選択における先行の安全スクリーニング技術を、SVMにおけるサンプルスクリーニングに拡張すること。大マージン原理に起因する非自明な課題を克服する。

提案手法

• 双対性と最適性条件に基づき、3つの安全なサンプルスクリーニングルール（BT1、BT2、IT）を提案。各サンプルの影響を参照解を用いて境界化する。
• スクリーニングルールの原問題および双対問題の定式化を導出。双対形式により、カーネル行列と双対変数を用いて効率的な計算が可能になる。
• ε-近似パスアルゴリズムを用いたウォームスタート戦略を採用。C値の変化に応じた正則化パスの計算を、解の品質を維持したまま実行する。
• 前回のC値からの参照解を用いて、各サンプルがトレーニングから安全に除外可能かどうかを判定する境界を構築する。
• 標準的なSVMソルバー（LIBSVM や LIBLINEAR）にデータを入力する前段階として、スクリーニングルールを前処理として適用する。
• 正則化パス計算にスクリーニングを統合し、複数のC値にわたって訓練セットのサイズを段階的に縮小可能にする。

実験結果

リサーチクエスチョン

• RQ1 SVM最適化問題を解く前段階で、保証的に非サポートベクターと特定できる訓練サンプルの部分集合を特定できるか？
• RQ2 計算的に効率的かつ保証的に安全なスクリーニングルールをどのように構築できるか。つまり、真のサポートベクターが誤って除外されないように保証できるか。
• RQ3 安全なサンプルスクリーニングが、SVMトレーニングおよび正則化パス計算の計算コストに与える影響は何か？
• RQ4 スクリーニング率と最適性の保持という観点から、従来のヒューリスティックスクリーニングや予測手法と比較して、本手法はどのように優れているか？
• RQ5 ウォームスタート戦略と効果的に組み合わせることで、複数の正則化パrameterにわたる効率的なモデル選択が可能になるか？

主な発見

• 提案された安全なサンプルスクリーニング手法は、最終的なSVM解の最適性を損なわず、最大90％の訓練サンプルを非サポートベクターとして特定・削除可能である。
• 数値実験では、問題のサイズが著しく小さくなるため、LIBSVM や LIBLINEAR ソルバーと組み合わせた場合、トレーニング時間が顕著に短縮された。
• 理論的保証と実験的スクリーニング性能の両面で、Wangら[23]の手法を上回っている。
• 安全なスクリーニングとε-近似パスアルゴリズムの統合により、C値の範囲にわたる正則化パスの効率的計算が可能となり、解の品質が維持された。
• 双対形式に基づくスクリーニングルール（例：BT1）は、Wang らが双対空間で導出したものと数学的に同等であることが確認され、本手法の妥当性が裏付けられるとともに、適用範囲が拡張された。