[論文レビュー] Novelty Detection Via Blurring

Sungik Choi, Sae-Young Chung|arXiv (Cornell University)|Nov 27, 2019

Anomaly Detection Techniques and Applications参考文献 35被引用数 13

ひとこと要約

この論文は、特異値分解（SVD）を用いて生成されたぼやけた画像を訓練に用いることで、ランダムネットワーク分散（RND）を強化する新しい分布外（OOD）検出手法SVD-RNDを提案する。ぼやけたデータを訓練中の adversarial 例として用いることで、低ランクのOOD入力に対してより頑健な性能を発揮し、CIFAR-10 対 SVHN などの困難なベンチマークで90%を超える検出精度を達成するとともに、幾何変換を組み合わせた場合、CelebA ではほぼ完璧な性能（AUROC > 0.997）を示す。

ABSTRACT

Conventional out-of-distribution (OOD) detection schemes based on variational autoencoder or Random Network Distillation (RND) have been observed to assign lower uncertainty to the OOD than the target distribution. In this work, we discover that such conventional novelty detection schemes are also vulnerable to the blurred images. Based on the observation, we construct a novel RND-based OOD detector, SVD-RND, that utilizes blurred images during training. Our detector is simple, efficient at test time, and outperforms baseline OOD detectors in various domains. Further results show that SVD-RND learns better target distribution representation than the baseline RND algorithm. Finally, SVD-RND combined with geometric transform achieves near-perfect detection accuracy on the CelebA dataset.

研究の動機と目的

• 従来のOOD検出器がぼやけた低ランクの画像に対して脆弱であり、それらを分布内と誤分類するという問題に対処すること。
• ぼやけたデータを adversarial 訓練例として取り入れることで、RNDに基づくOOD検出器の頑健性を向上させること。
• 外部のOODデータや検証セットを必要としない、簡単で効率的かつ自己教師ありの手法を開発すること。
• さまざまな有効ランクを持つデータにさらすことで、ターゲット分布の表現学習を強化すること。

提案手法

• SVD-RNDは、元の画像とそのSVDによるぼやけたコピーを区別するように学習する予測ネットワークを備えたRNDベースのOOD検出器である。
• ぼやけた画像は、入力画像のSVDにおける特異値を切り詰めることで生成され、保持する成分の数を制御することで有効ランクを変化させることができる。
• 訓練目的は、ぼやけた画像における予測誤差を最小化することであり、これによりネットワークは低ランク劣化に対して不変な頑健な表現を学習するよう促される。
• 多様なぼやけ具合を得るために、目標とする対数有効ランクの範囲にわたって一様なサンプリング戦略を用いる。これにより一般化性能が向上する。
• SVD-RNDは、回転や縦方向の平行移動といった幾何変換を組み合わせることでさらに強化され、SVD-ROT-RNDおよびSVD-VER-RNDとして実装される。
• 本手法は自己教師ありであり、ラベル付きOODデータやハイパーパramータチューニングのための検証セットを必要としない。

実験結果

リサーチクエスチョン

• RQ1 SVDを用いて生成されたぼやけた画像は、標準的なOOD検出モデルの弱みを露呈する有効な adversarial 例として機能するか？
• RQ2 RNDベースの検出器をぼやけた画像で訓練することで、低ランク分布におけるOODサンプルの検出能力が向上するか？
• RQ3 外部のOODデータや検証セットを必要とせず、SOTA（最先端）の性能を達成できるか？
• RQ4 CIFAR-10 対 SVHN や ImageNet 対 CIFAR-10 といった困難なベンチマークにおいて、SVD-RNDはベースラインのOOD検出器と比べてどのように性能を発揮するか？
• RQ5 SVD-RNDに幾何変換によるデータ拡張を組み合わせることで、OOD検出性能がさらに向上するか？

主な発見

• CIFAR-10 対 SVHN ではAUROCが0.967、TinyImageNet 対 SVHN では0.993を達成し、ベースラインのRNDや他の手法を顕著に上回った。
• CelebA データセットでは、SVD-ROT-RNDがAUROC 0.997を達成し、ほぼ完璧なOOD検出性能を示した。
• 検証用OODデータにアクセスできない状況下でも、SVD-RNDは一様なぼやけ具合スケジューリングを用いることで、最適化されたバージョンと同等の性能を達成した。
• SVD-RNDに回転および縦方向平行移動を組み合わせたSVD-ROT-RNDおよびSVD-VER-RNDは、単体のSVD-RNDよりも顕著な向上を示した。
• 一般化性能と頑健性の向上が示されたことから、SVD-RNDは標準的なRNDに比べてターゲット分布の表現をよりよく学習している。
• CIFAR-10 対 SVHN といったかつての困難なベンチマークでも、SVD-RNDは90%を超える検出精度を達成したのに対し、ベースラインは約50%の精度にとどまっていた。