[論文レビュー] A Unified Survey on Anomaly, Novelty, Open-Set, and Out-of-Distribution Detection: Solutions and Future Challenges

Mohammadreza Salehi, Hossein Mirzaei+4 more|arXiv (Cornell University)|Oct 26, 2021

Anomaly Detection Techniques and Applications被引用数 87

ひとこと要約

異常検知、ニューロリティ検出、オープンセット認識、およびデータ分布外検知を横断的に結び付ける包括的な調査で、共通の手法、関係性、今後の研究方向を詳述する。

ABSTRACT

Machine learning models often encounter samples that are diverged from the training distribution. Failure to recognize an out-of-distribution (OOD) sample, and consequently assign that sample to an in-class label significantly compromises the reliability of a model. The problem has gained significant attention due to its importance for safety deploying models in open-world settings. Detecting OOD samples is challenging due to the intractability of modeling all possible unknown distributions. To date, several research domains tackle the problem of detecting unfamiliar samples, including anomaly detection, novelty detection, one-class learning, open set recognition, and out-of-distribution detection. Despite having similar and shared concepts, out-of-distribution, open-set, and anomaly detection have been investigated independently. Accordingly, these research avenues have not cross-pollinated, creating research barriers. While some surveys intend to provide an overview of these approaches, they seem to only focus on a specific domain without examining the relationship between different domains. This survey aims to provide a cross-domain and comprehensive review of numerous eminent works in respective areas while identifying their commonalities. Researchers can benefit from the overview of research advances in different fields and develop future methodology synergistically. Furthermore, to the best of our knowledge, while there are surveys in anomaly detection or one-class learning, there is no comprehensive or up-to-date survey on out-of-distribution detection, which our survey covers extensively. Finally, having a unified cross-domain perspective, we discuss and shed light on future lines of research, intending to bring these fields closer together.

研究の動機と目的

• 異常検知、ニューノリティ検知、オープンセット認識、およびデータ分布外検知の関係性と共通点を特定し明確化する。
• 明確な説明と図を伴う、横断的で統一された方法論的レビュ―を提供する。
• 代表的なベースラインを評価・ベンチマークして、現在および将来の研究に確固たる基盤を築く。
• 公平性、対向的頑健性、プライバシー、データ効率、説明可能性など現実的な将来の方向性を論じる。

提案手法

• 分野を横断してアイデアを伝搬するための統一的な分類と横断的な橋渡しを提示する。
• 理解を助けるために、検討する手法の数式的および視覚的説明を提供する。
• 共通の分類体系を用いて、AD、ND、OSR、OODに跨る最近の深層学習ベースの手法を要約・比較する。
• 既存のベースラインに対して包括的なテストを実施し、現在および将来の研究方向を確固たるものにする。
• 公平性、頑健性、プライバシー、説明可能性といった現実的な必要性と将来の研究の方向性を強調する。

実験結果

リサーチクエスチョン

• RQ1 異常検知、新規性検出、オープンセット認識、およびデータ分布外検知の間の関連と差異は何か？
• RQ2 これらの分野全体で支配的な方法論的アプローチは何か、アイデアをどう移転できるか？
• RQ3 どのようなベンチマーク実践とベースラインが存在し、それらは横断的タスクでどう機能するか？
• RQ4 信頼性の高いオープンワールド学習のための主要な将来課題と必要な研究方向は何か？

主な発見

• 本論文はAD、ND、OSR、OODの関係性を特定・明確化し、これらは概念を共有するものの孤立して研究されてきたことを示している。
• 領域を超えた明確な理論的・視覚的説明を伴う包括的な方法論分析を提供する。
• 既存のベースラインに対する広範なテストを実施し、現在および将来の研究方向の確固たる基盤を確立する。
• この調査は、公平性、対向的頑健性、プライバシー、データ効率、説明可能性を強調し、妥当な将来の研究線を概説している。