[論文レビュー] A Fast and Robust TSVM for Pattern Classification

Bin-Bin Gao, Jianjun Wang|arXiv (Cornell University)|Nov 15, 2017

Face and Expression Recognition参考文献 40被引用数 6

ひとこと要約

本稿では、ノイズへの感受性を低減し、座標降下法によるスリーピングを用いたトレーニングを高速化することで分類性能を向上させる、新しいファジィメンバーシップ関数を統合した高速かつロバストな二重サポートベクターマシン（FR-TSVM）を提案する。SVM、FSVM、標準TSVMと比較して、ベンチマークデータセット上での収束速度が速く、より優れたロバスト性を示す。

ABSTRACT

Twin support vector machine~(TSVM) is a powerful learning algorithm by solving a pair of smaller SVM-type problems. However, there are still some specific issues such as low efficiency and weak robustness when it is faced with some real applications. In this paper, we propose a Fast and Robust TSVM~(FR-TSVM) to deal with the above issues. In order to alleviate the effects of noisy inputs, we propose an effective fuzzy membership function and reformulate the TSVMs such that different input instances can make different contributions to the learning of the separating hyperplanes. To further speed up the training procedure, we develop an efficient coordinate descent algorithm with shirking to solve the involved a pair of quadratic programming problems (QPPs). Moreover, theoretical foundations of the proposed model are analyzed in details. The experimental results on several artificial and benchmark datasets indicate that the FR-TSVM not only obtains a fast learning speed but also shows a robust classification performance. Code has been made available at: https://github.com/gaobb/FR-TSVM.

研究の動機と目的

• 二重SVMの計算効率とノイズデータに対するロバスト性の制限を是正すること。
• クラスタへの構造的近接度に基づいてトレーニングインスタンスを差別的に重み付けするファジィメンバーシップ関数を構築すること。
• 二重二次計画問題を解くために、スリーピングを組み込んだ効率的な座標降下法を設計し、トレーニングを高速化すること。
• 大規模パターン分類に適した理論的整合性と実用的スケーラビリティを保証すること。

提案手法

• インスタンスとクラスクラスタとの距離に基づいて値を割り当てる新しいファジィメンバーシップ関数を提案し、サポートベクタとアウトライヤーを区別する。
• ファジィメンバーシップをTSVMに統合することで、ノイズインスタンスが意思決定ハイパーフレームの学習に与える寄与度を低減するロバストな最適化問題を再定式化する。
• 得られた小規模な二つの二次計画問題を、収束を加速させるスリーピングを強化した座標降下法で解く。
• 非線形FR-TSVMではガウスカーネルを採用し、一意性と特異性回避が保証された双対定式を導出する。
• ハイパーパラメータ $ c_1, c_2, c_3, c_4, \mu, g $ を有するパラメータ感受性設計を導入し、$ \mu $ がメンバーシップ感受性を制御し、$ g $ がカーネル幅を調整する。
• 数値的安定性とトレーニング速度の向上を図るため、ウォームスタート戦略と反復的座標更新ルールを実装する。

実験結果

リサーチクエスチョン

• RQ1 データ適応型ファジィメンバーシップ関数は、TSVMのノイズインスタンスに対するロバスト性を向上させ得るか？
• RQ2 TSVMにファジィメンバーシップを統合することで、標準SVMおよびTSVMと比較してトレーニング時間が顕著に短縮されるか？
• RQ3 スリーピングを組み込んだ本稿の座標降下法は、既存のソルバーと比較して収束速度およびメモリ効率において優れているか？
• RQ4 FR-TSVMの性能は、特に $ g $ と $ \mu $ に依存する程度はどの程度か？

主な発見

• Glassデータセットでは、FR-TSVMが97.21% ± 3.93の平均精度を達成し、SVM（97.68% ± 3.95）とFSVM（96.77% ± 4.38）よりもロバスト性が高く、分散が小さい。
• Pimaデータセットでは、FR-TSVMが76.17% ± 2.68の精度を達成し、TSVMおよびFSVMと比較して顕著にトレーニング時間が短縮された。
• 13個のUCIデータセットにおけるトレーニング時間の分析から、FR-TSVMはTSVMおよび従来のSVMよりも高速であり、スリーピングを強化した座標降下法のおかげで最も速い収束を示した。
• ガウスカーネルを用いた非線形FR-TSVMは、線形FR-TSVMよりも高い精度を達成し、特にRipleysの合成データのような複雑なデータセットで顕著であった。
• パラメータ分析から、カーネルパラメータ $ g $ とメンバーシップパラメータ $ \mu $ が性能に強く影響することが判明し、ハイパーパラメータチューニングに対する感受性が示された。
• アウトライヤーを含むデータセットにおいて、FR-TSVMは一貫した低標準偏差を示すことで、優れた汎化性能とノイズ耐性を示した。