[論文レビュー] Rethinking Assumptions in Deep Anomaly Detection

Lukas Ruff, Robert A. Vandermeulen+3 more|arXiv (Cornell University)|May 30, 2020

Anomaly Detection Techniques and Applications参考文献 77被引用数 14

ひとこと要約

この論文は、画像における深層異常検出（AD）が、異常データを特徴づけることが難しいことから、従来の前提である教師なし学習である必要があるという仮定に挑戦する。本研究では、正規データとたった64枚のランダムな自然画像（外れ値露出、OE）を用いて訓練した単純な教師あり分類器が、ImageNetおよびCIFAR-10ベンチマークで最先端の教師なし手法を上回ることを示し、画像に内在するマルチスケール構造的情報を活用することで、少数のOEサンプルが異常検出において非常に有用であることを明らかにする。

ABSTRACT

Though anomaly detection (AD) can be viewed as a classification problem (nominal vs. anomalous) it is usually treated in an unsupervised manner since one typically does not have access to, or it is infeasible to utilize, a dataset that sufficiently characterizes what it means to be "anomalous." In this paper we present results demonstrating that this intuition surprisingly seems not to extend to deep AD on images. For a recent AD benchmark on ImageNet, classifiers trained to discern between normal samples and just a few (64) random natural images are able to outperform the current state of the art in deep AD. Experimentally we discover that the multiscale structure of image data makes example anomalies exceptionally informative.

研究の動機と目的

• 異常データを特徴づけることが難しいことから、画像における深層異常検出が教師なしでなければならないという長年の仮定に挑戦すること。
• 一般的に非正規とみなされる少数のランダムな自然画像が、深層異常検出器の訓練に有効な外れ値として機能するかどうかを調査すること。
• 非特化された異常データを最小限に用いた教師あり外れ値露出（OE）が、最先端の教師なしおよび半教師ありAD手法を上回るかどうかを評価すること。
• マルチスケール画像構造が、ランダム画像が異常検出において非常に有用な情報を伝えるメカニズムを検討すること。

提案手法

• 正規画像と少数のランダムな自然画像（外れ値）を分類する標準的な深層ニューラルネットワークを、バイナリクロスエントロピー損失で訓練する。
• Hendrycksら（2019b）のOE設定を踏襲し、OEデータはトレーニング中に使用されなかったImageNetまたはImageNet-22Kのランダム画像から構成される。
• MNIST、CIFAR-10、ImageNet-1Kなど複数のデータセットを用いて、AUCを主指標とする標準的なワン・ヴァーズ・レストADベンチマークで性能を評価する。
• OEサンプル数を64枚から128枚に変化させ、検出性能に与える影響を評価する。
• EMNIST-LettersやCIFAR-100などの異なるOEデータソースを用いて一般化性能をテストし、ロバストネスと転送性を評価する。
• 各ランダムOE画像が訓練信号に多様な空間スケールの異常をもたらす仕組みを観察することで、画像のマルチスケール特徴が果たす影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 最小限の外れ値露出を用いた教師あり分類アプローチが、画像ベンチマークで最先端の教師なし深層異常検出手法を上回るのか？
• RQ2 教師なし手法と比較して、競争的または優れた性能を達成するために、どのくらいの少数の外れ値サンプルが必要か？
• RQ3 意味的類似性のないランダムな自然画像が、なぜ深層画像ADにおいて依然として非常に効果的な外れ値として機能するのか？
• RQ4 画像のマルチスケール構造が、ランダム画像が異常性の情報を豊富に伝えるメカニズムとしてどの程度寄与しているのか？

主な発見

• 64枚のランダムな自然画像を外れ値として用いた教師あり分類器は、ImageNetのワン・ヴァーズ・レスト異常検出ベンチマークで、すべての教師なしおよび半教師あり最先端手法を上回り、平均AUC 97.7％を達成した。
• 128枚のOEサンプルを用いることで、CIFAR-10ベンチマークでも競争力のある性能（平均AUC 97.5％）を達成し、過去の教師なし手法と同等またはそれを上回った。
• 異なるOEデータソース（EMNIST-Lettersの10クラス、CIFAR-100の100クラス）を用いても、強力な検出性能が得られ、OEデータの構成に依存しないロバストネスを示した。
• 性能向上の背景には、画像のマルチスケール構造的性質がある。各ランダム画像がさまざまな空間スケールの特徴を含み、それらが共同で多様な形の異常性を表現している。
• 深層モデルがクラスを学習するには数千枚のサンプルが必要であるという一般的な信念とは対照的に、本研究の結果は、異常は本質的に散らばっており、特徴づけるのが難しいとされるという前提を覆す。
• トレーニングデータに真の異常例が一切存在しない状況下でも、モデルは効果的に異常を検出できる。これは、ランダム画像が単なるノイズではなく、異常検出に向けた豊富で判別力のある情報を保持していることを示唆する。