[論文レビュー] Novelty Detection in MultiClass Scenarios with Incomplete Set of Class Labels

Nomi Vinokurov, Daphna Weinshall|arXiv (Cornell University)|Apr 21, 2016

Anomaly Detection Techniques and Applications参考文献 21被引用数 5

ひとこと要約

本論文は、トレーニング中に一部のクラスラベルが欠落しているマルチクラス設定において、未知クラスを検出するための新しいアンサンブルベースの手法を提案する。マルチクラス分類器からの信頼度スコアを用い、上位2つのクラス適合度を比較し、既知クラスと未知クラスのランダムなパーティションに分けたデータ上でアンサンブルのバイナリ分類器を訓練することで、優れた未知度スコアを生成する。この手法は、Caltech-256およびCifar-100データセットにおいて、ワンクラスSVM、k-NN、KNFSTを上回る性能を発揮する。

ABSTRACT

We address the problem of novelty detection in multiclass scenarios where some class labels are missing from the training set. Our method is based on the initial assignment of confidence values, which measure the affinity between a new test point and each known class. We first compare the values of the two top elements in this vector of confidence values. In the heart of our method lies the training of an ensemble of classifiers, each trained to discriminate known from novel classes based on some partition of the training data into presumed-known and presumednovel classes. Our final novelty score is derived from the output of this ensemble of classifiers. We evaluated our method on two datasets of images containing a relatively large number of classes - the Caltech-256 and Cifar-100 datasets. We compared our method to 3 alternative methods which represent commonly used approaches, including the one-class SVM, novelty based on k-NN, novelty based on maximal confidence, and the recent KNFST method. The results show a very clear and marked advantage for our method over all alternative methods, in an experimental setup where class labels are missing during training.

研究の動機と目的

• トレーニングセットに一部のクラスラベルが欠落しているマルチクラス設定において、未知クラスを検出する課題に対処すること。
• 外れ値／異常検出を目的として設計された従来の未知検出手法が、欠落クラス検出には不適切であるという点を改善すること。
• 信頼度スコアとランダムなデータパーティションを用いて、既知クラスと未知クラスの間の判別境界を学習する手法を開発すること。
• 数百クラスのスケールを持つ大規模画像データセットで、ラベルカバレッジが不完全な状況下で手法を評価すること。

提案手法

• 手法はまず、マルチクラス分類器を用いて、各テストポイントについて既知クラス全般にわたるソフトな信頼度スコアを計算する。
• 上位2つの信頼度値を比較し、初期の不確実性の指標を形成する。この指標がバイナリ未知検出の入力として用いられる。
• L個のバイナリ分類器のアンサンブルを訓練する。各分類器は、トレーニングデータを仮の既知クラスと仮の未知クラスにランダムにパーティション化したデータ上で学習する。
• 各バイナリ分類器は、上位2つの信頼度の差に基づいて、既知クラスと未知クラスを区別するように学習する。
• 最終的な未知度スコアは、アンサンブルの出力の集約から得られ、未知クラスの堅牢な検出を可能にする。
• 手法はPCAで次元削減された特徴量を用いて評価され、Caltech-256およびCifar-100データセットで最適なパフォーマンスを発揮するようにチューニングされている。

実験結果

リサーチクエスチョン

• RQ1 上位2つのクラス予測の信頼度に基づく比較が、ラベル欠落を伴うマルチクラス設定における未知検出を改善できるか？
• RQ2 ランダムなデータパーティションに分けたデータ上でバイナリ分類器のアンサンブルを学習することで、標準的手法と比較して未知検出性能が向上するか？
• RQ3 トレーニングデータに特定のクラスラベルが欠落している状況下で、提案手法がワンクラスSVM、k-NN、KNFSTと比較して未知クラス検出に与える影響はいかほどか？
• RQ4 アンサンブル内のバイナリ分類器の数が減少するに従い、手法の性能はどの程度低下するか？
• RQ5 欠落クラスの数が増加するに従い、手法の優位性は維持されるか？

主な発見

• 提案手法は、ラベル欠落を伴う未知クラス検出において、Caltech-256およびCifar-100の両データセットでワンクラスSVM、k-NN、KNFSTを顕著に上回る性能を発揮した。
• Caltech-256では、すべてのベースラインと比較して著しく優れた性能を発揮し、初期の信頼度ベーススコアθSよりも顕著な改善が見られた。
• Cifar-100では、PCAで次元削減された特徴量を用いたk-NNが比較的優れた性能を示したにもかかわらず、提案手法の最終未知度スコアはすべての代替手法を上回った。
• バイナリ分類器の数にかかわらず、手法は頑健な性能を維持しており、L=5であっても高い性能を発揮し、Lが減少するに従いゆっくりと性能が低下するにとどまった。
• 欠落クラスの数が増加するに従い、提案手法の相対的優位性がさらに高まり、ラベルカバレッジが不完全な現実世界のシナリオへのスケーラビリティが示された。
• 特徴表現に依存しない性能を発揮しており、k-NNが最適化された特徴空間（例：HOG + PCA）を用いても、提案手法がそれを上回った。