[論文レビュー] Learning and Evaluating Representations for Deep One-class Classification

Kihyuk Sohn, Chunliang Li+3 more|arXiv (Cornell University)|Nov 4, 2020

Anomaly Detection Techniques and Applications参考文献 77被引用数 92

ひとこと要約

2段階のフレームワークで、1クラスデータから自己教師あり表現を学習し、その表現上で1クラス分類器（OC-SVMまたはKDE）を訓練する。分布拡張コントラスト学習は視覚的1クラスベンチマークでの性能を向上させる。

ABSTRACT

We present a two-stage framework for deep one-class classification. We first learn self-supervised representations from one-class data, and then build one-class classifiers on learned representations. The framework not only allows to learn better representations, but also permits building one-class classifiers that are faithful to the target task. We argue that classifiers inspired by the statistical perspective in generative or discriminative models are more effective than existing approaches, such as a normality score from a surrogate classifier. We thoroughly evaluate different self-supervised representation learning algorithms under the proposed framework for one-class classification. Moreover, we present a novel distribution-augmented contrastive learning that extends training distributions via data augmentation to obstruct the uniformity of contrastive representations. In experiments, we demonstrate state-of-the-art performance on visual domain one-class classification benchmarks, including novelty and anomaly detection. Finally, we present visual explanations, confirming that the decision-making process of deep one-class classifiers is intuitive to humans. The code is available at https://github.com/google-research/deep_representation_one_class.

研究の動機と目的

• 1 クラス分類の高品質な表現学習の課題を動機づけ、解決する。
• 2 表現学習を1クラス分類器訓練から分離する2段階フレームワークを提案する。
• 3 自己教師あり手法（拡張予測、コントラスト学習）の1クラスタスクへの体系的比較。
• 4 分布拡張コントラスト学習を導入して1クラス検出の特徴表現を改善する。
• 5 視覚的1クラスベンチマークで最先端の結果を示し、視覚的説明を提供する。

提案手法

• 2段階フレームワーク: (1) 下流の有用性を高める射影ヘッドを伴う自己教師あり手法を用いて1クラスデータから表現を学習する; (2) 学習した表現上で1クラス分類器（OC-SVMまたはKDE）を訓練する。
• 単純なコントラスト学習が1クラスタスクにおける限界（均一性とクラス衝突）を分析し、修正案を提案する。
• 分布拡張コントラスト学習を導入し、幾何変換を用いて訓練分布を拡張することで均一性を低減し識別性を改善する。
• 自己教師あり手法の複数を評価（拡張予測、回転予測、通常のコントラスト学習と分布拡張コントラスト学習）し、検出器としてOC-SVMとKDEを比較する。
• 学習表現上のKDEを用いた深層1クラス分類器に対する勾配ベースの説明アプローチを提供し、視覚的説明を可能にする。
• CIFAR-10/100、Fashion-MNIST、Cat-vs-Dog、CelebA、MVTec ADを含むデータセットにApproachを適用し、詳細なアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 1 自己教師あり表現を1クラスデータから効果的に学習して信頼性の高い1クラス分類を実現するにはどうすればよいか。
• RQ2 2 拡張予測、回転、コントラスト学習など異なる自己教師ありタスクが1クラス検出性能に与える影響はどれほどか。
• RQ3 3 分布拡張コントラスト学習は通常の手法に比べて1クラス表現品質を改善するか。
• RQ4 4 学習表現を用いたとき、OC-SVMとKDEは1クラスタスクの検出器としてどのように比較されるか。
• RQ5 5 深層1クラス分類器に対する意味のある勾配ベースの説明を提供できるか。

主な発見

Representation	Classifier	CIFAR-10	CIFAR-100	f-MNIST	Cat-vs-Dog	CelebA	Mean
ResNet-50 (ImageNet)	OC-SVM	80.0	83.7	91.8	74.5	81.4	84.0
KDE	80.0	83.7	90.5	74.6	82.4	83.7	83.7
RotNet [20]	Rotation Classifier	86.8 ±0.4	80.3 ±0.5	87.4 ±1.7	86.1 ±0.3	51.4 ±3.9	83.1
KDE	89.3 ±0.3	81.9 ±0.5	94.6 ±0.3	86.4 ±0.2	77.4 ±1.0	86.6
Denoising	OC-SVM	83.4 ±1.0	75.2 ±1.0	93.9 ±0.4	57.3 ±1.3	66.8 ±0.9	80.4
KDE	83.5 ±1.0	75.2 ±1.0	93.7 ±0.4	57.3 ±1.3	67.0 ±0.7	80.4
Rotation Prediction	OC-SVM	90.8 ±0.3	82.8 ±0.6	94.6 ±0.3	83.7 ±0.6	65.8 ±0.9	87.1
KDE	91.3 ±0.3	84.1 ±0.6	95.8 ±0.3	86.4 ±0.6	69.5 ±1.7	88.2
Contrastive	OC-SVM	89.0 ±0.7	82.4 ±0.8	93.9 ±0.3	87.7 ±0.5	83.5 ±2.4	86.9
KDE	89.0 ±0.7	82.4 ±0.8	93.6 ±0.3	87.7 ±0.4	84.6 ±2.5	86.8
Contrastive (DA)	OC-SVM	92.5 ±0.6	86.5 ±0.7	94.8 ±0.3	89.6 ±0.5	84.5 ±1.1	89.9
KDE	92.4 ±0.7	86.5 ±0.7	94.5 ±0.4	89.6 ±0.4	85.6 ±0.5	89.8

• 分布拡張コントラスト学習法は複数のデータセットで平均AUCが最も高く（89.9）、通常の方法を上回る。
• 学習した表現上でKDEまたはOC-SVMを用いると、模擬外れ値で訓練された代理分類器と比べても競争力がある、または優れている。
• RotNetを用いた回転予測とMLP射影ヘッドはAUCを改善し、RotNet表現上のKDEは直接回転分類器を用いたRotNetを超えることがある。
• コントラスト学習だけでは均一性とクラス衝突の問題で性能が劣るが、適切な修正（小さなバッチサイズ、射影ヘッド、分布拡張）を行うと性能が向上する。
• この2段階フレームワークは、テスト時の拡張やアンサンブルを用いずにCIFAR-10、CIFAR-100、Fashion-MNIST、Cat-vs-Dog、CelebA、MVTec ADで最先端の結果を達成する。