[論文レビュー] Anomalous Instance Detection in Deep Learning: A Survey.

Saikiran Bulusu, Bhavya Kailkhura+3 more|arXiv (Cornell University)|Mar 16, 2020

Anomaly Detection Techniques and Applications参考文献 71被引用数 29

ひとこと要約

本調査は、深層学習における事後異常検出技術について包括的で構造的な概要を提供し、その背後にある仮定とアプローチに基づいて手法を分類している。強み・弱みおよび研究上のギャップを分析し、深層学習システムにおける分布外入力および敵対的入力に対する耐性を高めるためのロードマップを提示する。

ABSTRACT

Deep Learning (DL) is vulnerable to out-of-distribution and adversarial examples resulting in incorrect outputs. To make DL more robust, several posthoc anomaly detection techniques to detect (and discard) these anomalous samples have been proposed in the recent past. This survey tries to provide a structured and comprehensive overview of the research on anomaly detection for DL based applications. We provide a taxonomy for existing techniques based on their underlying assumptions and adopted approaches. We discuss various techniques in each of the categories and provide the relative strengths and weaknesses of the approaches. Our goal in this survey is to provide an easier yet better understanding of the techniques belonging to different categories in which research has been done on this topic. Finally, we highlight the unsolved research challenges while applying anomaly detection techniques in DL systems and present some high-impact future research directions.

研究の動機と目的

• 深層学習における事後異常検出技術について、体系的かつ包括的な概要を提供すること。
• その背後にある仮定と採用されたアプローチに基づいて、既存の手法を分類すること。
• さまざまな異常検出手法の相対的な強みと弱みを分析すること。
• 深層学習システムへの異常検出の適用における未解決の研究的課題を特定すること。
• モデルの耐性を高めるために、高影響度の今後の研究方向性を提示すること。

提案手法

• 本論文は、仮定とアプローチに基づいて異常検出手法の分類体系を構築している。
• 再構成に基づく、不確実性推定、および外れ値検出手法などのカテゴリに手法を分類している。
• 検出精度、計算コスト、データ分布にわたる一般化性能といった基準を用いて、手法を評価している。
• 分布外および敵対的例の検出能力に鑲って、手法を比較している。
• 既存の文献からの理論的および実験的知見を分析している。
• 研究結果を統合し、手法論的トレードオフと未解決の課題を強調している。

実験結果

リサーチクエスチョン

• RQ1 深層学習における異なる異常検出手法は、その背後にある仮定と設計原則においてどのように異なるのか？
• RQ2 再構成ベース、不確実性ベース、外れ値検出ベースの手法は、異常入力を特定するうえで、それぞれ相対的にどのような強みと弱みを示すのか？
• RQ3 実世界の深層学習システムに異常検出を導入するうえでの主な課題は何か？
• RQ4 多様なデータ分布に一般化するうえで、どの手法が最も有望であるか？
• RQ5 深層学習における異常検出分野で、最も重要な未解決の研究課題と今後の研究方向性は何か？

主な発見

• 本調査では、再構成ベースの手法が分布外のサンプルを検出するのに有効であるが、高次元データでは困難をきたすことがあると特定した。
• 不確実性推定手法は、特にアクティブラーニングや分布外検出において、モデルの不確実性を特定するうえで優れたパフォーマンスを示している。
• 距離または密度に基づく外れ値検出手法は、次元の呪いのため、高次元の潜在空間ではしばしば失敗する。
• 万能な優れた手法は存在しない。性能はデータ分布やモデルアーキテクチャに大きく依存する。
• 多様で未知のデータ分布にわたる信頼できる一般化を達成することは、依然として大きな課題である。
• 本論文は、手法間の公平な比較を可能にするために、標準化されたベンチマークと評価プロトコルの必要性を強調している。