[論文レビュー] Anomalous Example Detection in Deep Learning: A Survey

Saikiran Bulusu, Bhavya Kailkhura+3 more|arXiv (Cornell University)|Mar 16, 2020

Anomaly Detection Techniques and Applications参考文献 112被引用数 9

ひとこと要約

本調査は、深層学習モデルにおける事後異常検出技術について、包括的で構造的な概要を提供しており、分布外および対策的例を検出するための仮定とアプローチに基づいて手法を分類している。複雑な異常の検出や標準化された評価の欠如といった主な課題を特定し、高リスクなDL応用分野における堅牢で一般化可能な異常検出の今後の研究方向性を提示している。

ABSTRACT

Deep Learning (DL) is vulnerable to out-of-distribution and adversarial examples resulting in incorrect outputs. To make DL more robust, several posthoc (or runtime) anomaly detection techniques to detect (and discard) these anomalous samples have been proposed in the recent past. This survey tries to provide a structured and comprehensive overview of the research on anomaly detection for DL based applications. We provide a taxonomy for existing techniques based on their underlying assumptions and adopted approaches. We discuss various techniques in each of the categories and provide the relative strengths and weaknesses of the approaches. Our goal in this survey is to provide an easier yet better understanding of the techniques belonging to different categories in which research has been done on this topic. Finally, we highlight the unsolved research challenges while applying anomaly detection techniques in DL systems and present some high-impact future research directions.

研究の動機と目的

• 深層学習モデルにおける事後異常検出技術について、体系的かつ包括的なレビューを提供すること。
• その背後にある仮定とアプローチに基づいて、既存の手法を分類し、強みと弱みを強調すること。
• 実世界のDL応用における複雑で適応的かつ未知の異常を検出するうえで未解決の課題を特定すること。
• 評価と堅牢性を向上させるために、原則に基づいたベンチマークと理論的基盤を提唱すること。
• 画像分類を越えて、テキストやグラフなどの他のデータタイプや、物体検出や計画など他のタスクへ研究を拡張すること。

提案手法

• 仮定（例：データ分布、モデル挙動）とアプローチ（例：不確実性推定、再構成、エネルギーベースモデル）に基づいて、深層学習における異常検出手法の分類体系を提唱する。
• モデルの再トレーニングを必要とせず、トレーニング後に行われる後処理型検出器に焦点を当てる。
• 分布外および対策的入力を検出するためのマハラノビス距離、ODIN、エネルギーベースモデル、再構成ベースのオートエンコーダーなどの手法をレビューする。
• 複数の検出器を組み合わせることで堅牢性と性能が向上するアンサンブル手法の重要性を強調する。
• 時空間的一致性をインダクティブバイアスとして用い、順次的または構造的データにおける異常を検出する方法を議論する。
• 既知の分布を超えた未知の未知の異常を扱うために、ドメイン一般化とメタラーニングの必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 深層学習における異常検出技術は、その仮定と手法に基づいてどのように体系的に分類できるか？
• RQ2 現在の事後異常検出手法が、複雑で相関関係がある、あるいは文脈依存の異常を処理するうえで、どのような主な制限を抱えているか？
• RQ3 なぜ異常検出性能の信頼性ある評価が特に困難であり、その課題を克服するためのベンチマークは何か？
• RQ4 深層学習における異常検出の理論的基盤と根本的限界をどのようによりよく理解し、形式化できるか？
• RQ5 画像分類を超えて他のデータモダリティやタスクへ異常検出を拡張するうえで、最も有望な今後の研究方向性は何か？

主な発見

• 多くの既存の異常検出手法は画像分類に限定されており、テキストやグラフ、多様体などの他のデータタイプへの一般化に失敗している。
• 現在の評価手法は、しばしば不完全または誤解を招くものであり、過去に観測済みの異常に基づいているため、過学習のリスクがあり、未知の未知の異常への一般化が不十分である。
• 複数の異常検出戦略を組み合わせたアンサンブル型検出器は、個々の手法に比べて性能が向上している。
• 多くのヒューリスティックな防御策や検出手法は、適応的攻撃に対して簡単に破壊されるため、より強い理論的基盤の必要性が浮き彫りになっている。
• 相関関係や文脈的特徴を持つ異常は、従来の検出フレームワークでは未だ十分に扱われておらず、重大な課題を引き起こしており、新しい検出パラダイムの必要性が示されている。
• 適応的かつ未観測の異常に対する性能を評価するための、標準的で原則に基づいたベンチマークの実装が、極めて重要である。