[論文レビュー] Self-Supervised Anomaly Detection in Computer Vision and Beyond: A Survey and Outlook

Hadi Hojjati, Thi Kieu Khanh Ho+1 more|arXiv (Cornell University)|May 10, 2022

Anomaly Detection Techniques and Applications参考文献 129被引用数 7

ひとこと要約

本調査では、コンピュータビジョンおよびそれ以上の分野における自己教師あり異常検出（AD）手法について包括的なレビューを提供しており、対照的学習、インスタンス識別、その他のSSLベースのアプローチがラベルなしデータから強力な表現を学ぶ方法を分析している。これらの手法は、特に低データおよびワンクラスの状況において、従来の非教師ありおよび教師ありAD手法を上回ることを示しており、少数の例学習、マルチモーダル統合、および効率的な学習といった今後の方向性を提示している。

ABSTRACT

Anomaly detection (AD) plays a crucial role in various domains, including cybersecurity, finance, and healthcare, by identifying patterns or events that deviate from normal behaviour. In recent years, significant progress has been made in this field due to the remarkable growth of deep learning models. Notably, the advent of self-supervised learning has sparked the development of novel AD algorithms that outperform the existing state-of-the-art approaches by a considerable margin. This paper aims to provide a comprehensive review of the current methodologies in self-supervised anomaly detection. We present technical details of the standard methods and discuss their strengths and drawbacks. We also compare the performance of these models against each other and other state-of-the-art anomaly detection models. Finally, the paper concludes with a discussion of future directions for self-supervised anomaly detection, including the development of more effective and efficient algorithms and the integration of these techniques with other related fields, such as multi-modal learning.

研究の動機と目的

• 自己教師あり学習（SSL）手法が異常検出において果たす役割を包括的にレビューし、広範なAD研究の文脈に位置づけること。
• 現在のSSLベースのADアプローチ、特に対照的学習とインスタンス識別における長所と短所を分析すること。
• 標準ベンチマークデータセット上で、SSLベースのモデルが最先端の非教師ありおよび教師ありAD手法と比較してどのように性能を発揮するかを評価すること。
• 未解決の課題と今後の研究方向性を特定すること。これには、少数の例による異常検出、マルチモーダル学習、計算効率が含まれる。
• 自己教師あり異常検出分野の最先端技術を進める研究者および実務家にとっての基盤的リファレンスを提供すること。

提案手法

• 自己教師あり異常検出を、対照的学習（例：SimCLR）、インスタンス識別、非対照的手法（例：BYOL、Barlow Twins）の3つの主要なパラダイムに分類する。
• 一般化可能な表現を学ぶために、幾何的変換の予測、色付け、インスタンスレベルの識別といったSSLで用いられる代理タスクをレビューする。
• SSLモデルが、正常なサンプルが密で構造的な空間に埋め込まれ、異常が中心部や周縁部に押し出されるような表現を学ぶ仕組みを分析する。
• CIFAR-10、MNIST、MVTec ADといった標準ベンチマーク上で、SSLベースのADモデルの性能をAUCやF1スコアなどの指標を用いて評価する。
• ANEMONE や少数の例学習ADフレームワークで示されるように、限定的なラベル付き異常データを自己教師ありフレームワークに統合することで、検出精度を向上させることを検討する。
• マルチモーダル自己教師あり学習、効率的な学習、およびトランスファー学習やフェデレーテッドラーニングの応用といった今後の方向性を検討し、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習手法は、従来の非教師ありおよび教師ありアプローチと比較して、どのように異常検出性能を向上させるか？
• RQ2 対照的および非対照的SSL手法がワンクラス異常検出に有効である理由となる、主なアーキテクチャ的および学習的要素は何か？
• RQ3 訓練中にわずかな数のラベル付き異常データを組み込むことで、自己教師あり異常検出モデルの性能はどの程度向上するか？
• RQ4 自己教師あり学習は、多様なデータソースを含むマルチモーダルな異常検出シナリオにどのように拡張できるか？
• RQ5 実世界のリソース制約環境において、自己教師あり異常検出モデルをスケーリングおよび展開するにあたり、主な課題は何か？

主な発見

• 特に対照的学習ベースの自己教師あり異常検出手法は、MVTec AD や CIFAR-10 といった標準ベンチマークデータセットで最先端の性能を達成しており、従来の非教師あり手法と比較して顕著な優位性を示している。
• 負例を必要としない非対照的SSL手法（例：BYOL や Barlow Twins）は、ワンクラス異常検出において強力な可能性を示しているが、この文脈での性能はまだ十分に調査されていない。
• 訓練中にわずかな数のラベル付き異常データを組み込むことで、検出精度が顕著に向上することが、ANEMONE や少数の例学習ADフレームワークの実例から示されている。
• SSLが異常検出で成功する理由は、モデルが異常と正常データを容易に分離できるように、密で構造的な表現空間を学ぶ能力に起因している。異常はしばしば中心部や周縁部に位置づけられる。
• 高い性能を発揮する一方で、現在のSSLベースのADモデルは、特にリアルタイムまたはエッジ環境での展開において、計算効率とスケーラビリティの面で課題に直面している。
• 今後の研究方向性として、マルチモーダル自己教師あり学習や効率的な学習技術の発展は、医療やサイバーセキュリティなどの分野における自己教師あり異常検出の実用的展開を進める上で不可欠である。