[論文レビュー] SSD: A Unified Framework for Self-Supervised Outlier Detection

Vikash Sehwag, Mung Chiang+1 more|arXiv (Cornell University)|Mar 22, 2021

Anomaly Detection Techniques and Applications参考文献 53被引用数 44

ひとこと要約

SSD は自己教師付き表現学習と Mahalanobis 距離を用いて、ラベルなしのイン分布データのみを使って out-of-distribution（OOD）サンプルを検出し、少数ショットの OOD および ラベル支援検出への拡張により高い性能を達成する。

ABSTRACT

We ask the following question: what training information is required to design an effective outlier/out-of-distribution (OOD) detector, i.e., detecting samples that lie far away from the training distribution? Since unlabeled data is easily accessible for many applications, the most compelling approach is to develop detectors based on only unlabeled in-distribution data. However, we observe that most existing detectors based on unlabeled data perform poorly, often equivalent to a random prediction. In contrast, existing state-of-the-art OOD detectors achieve impressive performance but require access to fine-grained data labels for supervised training. We propose SSD, an outlier detector based on only unlabeled in-distribution data. We use self-supervised representation learning followed by a Mahalanobis distance based detection in the feature space. We demonstrate that SSD outperforms most existing detectors based on unlabeled data by a large margin. Additionally, SSD even achieves performance on par, and sometimes even better, with supervised training based detectors. Finally, we expand our detection framework with two key extensions. First, we formulate few-shot OOD detection, in which the detector has access to only one to five samples from each class of the targeted OOD dataset. Second, we extend our framework to incorporate training data labels, if available. We find that our novel detection framework based on SSD displays enhanced performance with these extensions, and achieves state-of-the-art performance. Our code is publicly available at https://github.com/inspire-group/SSD.

研究の動機と目的

• ラベルなしのイン分布データのみを用いた外れ検出/OOD検出の動機づけ。
• イン分布特徴を活用する自己教師付きの、クラスタ条件付き Mahalanobis 検出器を開発する。
• 少数ショットの OOD 検出への拡張と、利用可能な場合にラベルを取り入れる拡張を提供する。

提案手法

• ラベルなしのイン分布データ上で、対比的自己教師付き学習（NT-Xent）を用いて特徴抽出器を訓練する。
• イン分布特徴をクラスタに分割し、特徴空間内で各クラスタを Mahalanobis 距離でモデル化する。
• OOD サンプルを検出するために、最小クラスタ Mahalanobis 距離として外れ値スコアを計算する。
• 少数ショット OOD のため、収縮共分散とデータ拡張を用いてイン分布とOODの統計を推定し、Mahalanobis 項の差を用いる。
• 任意でラベルを用いた監視的対比損失（SSD+）を取り入れ、調整パラメータなしの最先端検出を実現する。
• CIFAR-10/100, STL-10, ImageNet 及び他のデータセットにわたり、AUROC、TPR=95%における FPR、AUPRを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのイン分布データのみで訓練した外れ検出器は、画像の OOD タスクで監視付き検出器と同等かそれを上回ることができるか？
• RQ2 自己教師付き表現を用いて OOD 検出を行う場合、クラスタ条件付き Mahalanobis 検出器の有効性はどの程度か？
• RQ3 少数ショット OOD のシナリオは、共分散縮小とデータ拡張を用いた統計ベースの適応に利益を得るか？
• RQ4 監視的対比損失を介してラベルを取り入れることは、パラメータの調整なしで OOD 検出性能を向上させるか？

主な発見

• SSD は標準的な画像データセット上で、ほとんどの非監視外れ検出器を大きく上回る。
• SSD は、ラベル付きイン分布データを使用する監視検出器と同等、場合によってはそれ以上の性能を達成する。
• 少数ショット OOD 拡張（SSD k）は、対象の OOD サンプルを少数入手し、データ拡張と収縮共分散を用いて notable gains を得る。
• SSD+ と監督付き対比損失を用いたラベルの取り込みは、追加の調整パラメータなしで最先端の性能を提供する。
• 複数のデータセットペアにおいて、自己教師付き表現はしばしば監視付き表現より OOD 検出タスクで性能が高く、いくつかのケースで AUROC の大幅な改善を示す。
• 5-shot OOD とラベル組み込みを行う SSD+ は、いくつかのベンチマークで従来の監視法を上回ることができる（例：CIFAR-100 対 CIFAR-10 など）。