[論文レビュー] Using SVDD in SimpleMKL for 3D-Shapes Filtering

Gaëlle Loosli, Hattoibe Aboubacar|arXiv (Cornell University)|Dec 7, 2017

Anomaly Detection Techniques and Applications参考文献 10被引用数 3

ひとこと要約

本稿では、3次元形状のフィルタリングおよび外れ値検出を目的として、SimpleMKLフレームワーク内でのサポートベクターデータ記述（SVDD）の新規拡張、MK-SVDDおよびSlim-MK-SVDDを提案する。決定境界をよりタイトに保つために新しいペナルティ項を組み込むことで、Slim-MK-SVDDは、教師ありおよび教師なし設定の両方で、標準SVDDおよびワンクラスSVMを上回る性能を発揮し、特に少数の正例しか存在しない類似した3次元形状クラスを区別する際に優れた効果を示す。

ABSTRACT

This paper proposes the adaptation of Support Vector Data Description (SVDD) to the multiple kernel case (MK-SVDD), based on SimpleMKL. It also introduces a variant called Slim-MK-SVDD that is able to produce a tighter frontier around the data. For the sake of comparison, the equivalent methods are also developed for One-Class SVM, known to be very similar to SVDD for certain shapes of kernels. Those algorithms are illustrated in the context of 3D-shapes filtering and outliers detection. For the 3D-shapes problem, the objective is to be able to select a sub-category of 3D-shapes, each sub-category being learned with our algorithm in order to create a filter. For outliers detection, we apply the proposed algorithms for unsupervised outliers detection as well as for the supervised case.

研究の動機と目的

• ターゲットとなる3次元形状クラスの正例が僅かにしか存在しない状況において、3次元形状を効果的にフィルタリングする課題に対処すること。
• SimpleMKLアルゴリズムを用いてSVDDを複数カーネル学習（MKL）フレームワークに適応させ、一般化性能および柔軟性を向上させること。
• 少数のサポートベクターに依存する解を抑える新しいペナルティ項を導入することで、よりタイトな決定境界を実現する手法を開発すること。
• 提案手法を、3次元形状データセットにおける教師ありおよび教師なしの外れ値検出シナリオの両方で評価すること。

提案手法

• 凸重みを用いてカーネルを結合する主問題最適化問題として、複数カーネル設定におけるSVDDの拡張を定式化し、すべての正例を含む最小の球体を保証する。
• ラグランジュ緩和法およびKKT条件を用いてMK-SVDDの双対問題を導出し、勾配ベースのソルバーを用いたSimpleMKLフレームワークによる最適化を可能にする。
• サポートベクターの数が少ない解を避けるために、SimpleMKLの目的関数にペナルティ項を追加することで、Slim-MK-SVDDを提案。これにより、よりタイトな決定境界が促進される。
• ガウスカーネルおよび多項式カーネルを複数カーネル結合に用い、単体制約の下で勾配降下法によりカーネル重みを学習する。
• 3次元形状記述子として拡張リーブグラフ（Extended Reeb Graphs）を用い、カーネル法に適した高次元特徴空間に形状データを表現する。
• 複数の3次元形状フィルタリングおよび外れ値検出タスクにおいて、MK-SVDDおよびSlim-MK-SVDDを標準SVDD、ワンクラスSVM、およびMK-OCSVMと比較する。

実験結果

リサーチクエスチョン

• RQ1 SimpleMKLアルゴリズムを用いて、3次元形状フィルタリングの文脈でSVDDを複数カーネル学習（MKL）フレームワークに効果的に拡張できるか？
• RQ2 提案されたSlim-MK-SVDDは、3次元形状分類タスクにおいて、標準MK-SVDDおよびMK-OCSVMよりもタイトな決定境界を生成できるか？
• RQ3 正例が僅かにしか存在しない状況において、MK-SVDDおよびSlim-MK-SVDDは、類似したクラスからターゲット3次元形状クラスを効果的に区別できるか？
• RQ4 提案手法は、正例のみを用いた教師ありおよび教師なし設定において、外れ値を効果的に検出できるか？

主な発見

• Slim-MK-SVDDは、ターゲット3次元形状クラスと類似クラスを区別するタスクで平均AUC 0.945を達成し、同様のタスクにおけるMK-OCSVM（AUC 0.64）およびMK-SVDD（AUC 0.94）を顕著に上回る。
• すべてのクラスからターゲットクラスをフィルタリングするタスクにおいて、Slim-MK-SVDDは平均AUC 0.90を達成し、最初の正例が平均して順位7.5に現れるため、優れた早期検出能力を示す。
• 最も挑戦的なケース（クラス11）において、Slim-MK-SVDDはAUC 0.93を達成し、最初のターゲット例が順位8.7に現れる。これに対してMK-OCSVMはAUC 0.93だが、最初のターゲット例は順位128.1に現れる。
• Slim-MK-SVDDは、クラス1において最初のターゲット例の平均順位を、MK-SVDDの13.5から2.6にまで低減させ、類似クラスからの分離性能が顕著に向上している。
• 外れ値検出において、Slim-MK-SVDDは教師あり設定で20%の勝率を達成し、ランダム（33%）よりも顕著に高く、MK-OCSVM（0%の勝率）を上回る。
• Slim-MK-SVDDに導入された新しいペナルティ項により、類似形状クラスを区別するタスクにおいて、標準MK-SVDDと比較して平均で15%のAUC向上が達成された。