[論文レビュー] Do We Really Need to Learn Representations from In-domain Data for Outlier Detection?

Zhisheng Xiao, Qing Yan+1 more|arXiv (Cornell University)|May 19, 2021

Anomaly Detection Techniques and Applications参考文献 84被引用数 6

ひとこと要約

この論文は、自己教師あり学習を用いて事前学習されたImageNet表現——特にそれら——が、ドメイン内データに対する微調整なしに、アウリヤー検出のためのユニバーサル特徴抽出器として機能できることを示している。単一の事前学習済みネットワークと、特徴空間におけるマハラノビス距離のような単純なパラメトリック検出器を用いることで、複数のベンチマークで競争的または優れた性能を達成し、タスク固有の表現学習の必要性に疑問を呈している。

ABSTRACT

Unsupervised outlier detection, which predicts if a test sample is an outlier or not using only the information from unlabelled inlier data, is an important but challenging task. Recently, methods based on the two-stage framework achieve state-of-the-art performance on this task. The framework leverages self-supervised representation learning algorithms to train a feature extractor on inlier data, and applies a simple outlier detector in the feature space. In this paper, we explore the possibility of avoiding the high cost of training a distinct representation for each outlier detection task, and instead using a single pre-trained network as the universal feature extractor regardless of the source of in-domain data. In particular, we replace the task-specific feature extractor by one network pre-trained on ImageNet with a self-supervised loss. In experiments, we demonstrate competitive or better performance on a variety of outlier detection benchmarks compared with previous two-stage methods, suggesting that learning representations from in-domain data may be unnecessary for outlier detection.

研究の動機と目的

• ドメイン内データからのタスク固有の表現学習が、効果的な非教師ありアウリヤー検出に本当に必要かどうかを調査すること。
• ターゲットドメイン内分布データへの適応なしに、多様なアウリヤー検出ベンチマークでユニバーサル特徴抽出器（ImageNetで事前学習されたもの）の性能を評価すること。
• ドメイン内データでの高価な表現学習を回避する、簡単でゼロコストのベースラインを確立すること。
• 事前学習特徴を用いる際の入力前処理と特徴空間におけるアウリヤー検出手法の影響を評価すること。

提案手法

• ImageNetで自己教師ありコントラスト学習を用いて学習された単一の事前学習済み深層ニューラルネットワーク（例：MoCo, SimCLR）をユニバーサル特徴抽出器として利用する。
• ドメイン内データのソースにかかわらず、微調整なしに固定された事前学習済み特徴抽出器を入力画像に適用する。
• ImageNetの入力次元に一致させるために、バイキュービックアップサンプリング（32×32から224×224に）を含む入力前処理を実施し、アップサンプリング手法のアブレーションを実施する。
• 特徴空間で共分散行列を共有するマハラノビス距離ベースのアウリヤー検出器を採用し、性能と効率のバランスを考慮して選定した。
• 入力の摂動（ε=0.01）と検出器ハイパーパramータのアブレーションを実施したが、推論コストのため主な結果では摂動を除外した。
• CIFAR-10、SVHN、Tiny ImageNetなどの複数のベンチマークで、標準的なアウリヤー検出指標（AUROC）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内データに対する微調整なしに、事前学習されたImageNet表現が競争的なアウリヤー検出性能を達成できるか？
• RQ2 ドメイン内表現学習を必要とする最新の2段階手法と比較して、ユニバーサルな事前学習済み特徴抽出器の性能はどの程度か？
• RQ3 事前学習特徴を用いる際の入力前処理（例：アップサンプリング手法）が最終的なアウリヤー検出性能に与える影響は何か？
• RQ4 事前学習特徴を用いる際、特徴空間におけるアウリヤー検出器の選択（例：パラメトリック対ノンパラメトリック）が性能に与える影響は何か？
• RQ5 推論時に入力摂動を適用することで性能が向上するか？計算コストの増加を考慮してもその利点は見込まれるか？

主な発見

• 提案手法は、ドメイン内データに対する訓練なしに、複数のアウリヤー検出ベンチマークで最先端または競争力のあるAUROCスコアを達成した。
• バイキュービックアップサンプリングを最近傍補間よりも用いることで、AUROCは80.7%から92.6%に向上し、前処理の質の重要性が示された。
• 共分散行列を共有するマハラノビス距離検出器がアブレーションスタディで最高のAUROC（92.6%）を達成し、ノンパラメトリックおよび個別共分散バージョンを上回った。
• 入力摂動（ε=0.01）を適用することでAUROCは93.7%に向上したが、推論コストの増加のため主な結果では使用されず、効率を犠牲にした潜在的な性能向上が示唆された。
• 高価なドメイン内表現学習を必要とする最新の2段階手法を上回るか同等の性能を発揮したため、ドメイン固有の表現学習が必ずしも必要ではない可能性が示された。
• ImageNetで事前学習された特徴のコンact構造は、単純なパラメトリック検出器が効果的にインライヤー構造を低次元でモデル化できることを示しており、これらの特徴が判別力のある低次元構造を捉えていると示唆された。