[論文レビュー] Single Versus Union: Non-parallel Support Vector Machine Frameworks.

Chun‐Na Li, Yuan‐Hai Shao+5 more|arXiv (Cornell University)|Oct 22, 2019

Face and Expression Recognition参考文献 91被引用数 5

ひとこと要約

本稿では、複数のクラス間の最小マージンを最大化するように同時にハイパーハイパーバイプレーンを構築する新しい非並列サポートベクターマシン（NSVM）フレームワークを提案する。これは1つの大きな最適化問題を解くことで実現され、分類性能の向上に寄与する。本手法は、明確なサンプル損失の測定を可能にし、従来の非並列SVMと比較してベンチマークデータセット上で優れた精度を示す。

ABSTRACT

Considering the classification problem, we summarize the nonparallel support vector machines with the nonparallel hyperplanes to two types of frameworks. The first type constructs the hyperplanes separately. It solves a series of small optimization problems to obtain a series of hyperplanes, but is hard to measure the loss of each sample. The other type constructs all the hyperplanes simultaneously, and it solves one big optimization problem with the ascertained loss of each sample. We give the characteristics of each framework and compare them carefully. In addition, based on the second framework, we construct a max-min distance-based nonparallel support vector machine for multiclass classification problem, called NSVM. It constructs hyperplanes with large distance margin by solving an optimization problem. Experimental results on benchmark data sets show the advantages of our NSVM.

研究の動機と目的

• 既存の非並列SVMフレームワークが、小規模な問題を別々に解いたり、サンプル損失を正確に測定できないという限界を解消すること。
• すべてのハイパーハイパーバイプレーンを同時に構築することで、より良い損失評価とマージン制御を実現する統一された最適化フレームワークを開発すること。
• より良い分離を実現するmax-min距離戦略を用いて、多クラス分類にこのフレームワークを拡張すること。
• 標準的なベンチマークデータセット上で、提案されたNSVMモデルの実証的妥当性を検証すること。

提案手法

• 複数の小規模な問題を別々に解くのではなく、1つの大きな最適化問題を解くことで、同時にハイパーハイパーバイプレーンを構築するアプローチを提案する。
• ハイパーハイパーバイプレーンと異なるクラスのデータポイント間の最小マージンを最大化するmax-min距離基準を定義する。
• 1つの最適化定式化により、各サンプルの分類損失が明示的に測定可能であることを保証する。
• 最適な分離を達成する複数の非並列ハイパーハイパーバイプレーンを構築することで、多クラス問題にこのフレームワークを適用する。
• 凸問題としての解法に標準的な最適化技術を用い、収束が保証される。
• 提案されたフレームワークに基づき、NSVM（非並列サポートベクターマシン）と名付けた新しいモデルを導入する。

実験結果

リサーチクエスチョン

• RQ1 損失測定と分類性能の観点から、同時にハイパーハイパーバイプレーンを構築する方法は、逐次的構築と比べてどのように異なるか？
• RQ2 統一された最適化フレームワークは、非並列SVMにおけるマージン制御と一般化性能を向上させることができるか？
• RQ3 最小マージンを最大化することが、多クラス分類の精度に与える影響は何か？
• RQ4 提案されたNSVMモデルは、既存の非並列SVMと比較して、ベンチマークデータセット上でどのように性能を発揮するか？

主な発見

• 提案されたNSVMフレームワークは、すべてのハイパーハイパーバイプレーンを同時に構築することで、各サンプルの損失を正確に測定可能である。
• NSVMにおけるmax-min距離戦略により、最小マージンを最大化することで、クラス間分離がより良好に実現される。
• 実験結果から、NSVMは従来の非並列SVM手法と比較して、ベンチマークデータセット上で高い分類精度を達成している。
• 同時に最適化するアプローチにより、繰り返し小規模問題を解く方法と比較して、より安定的かつ信頼性の高い収束が達成される。
• 非並列ハイパーハイパーバイプレーン構築をマージン最大化と組み合わせることで、多クラス分類を効果的に処理できる。
• マージン品質と予測精度の両面で、本手法は従来の非並列SVMを上回っている。