[論文レビュー] ESAD: End-to-end Deep Semi-supervised Anomaly Detection

Chaoqin Huang, Fei Ye+4 more|arXiv (Cornell University)|Dec 9, 2020

Anomaly Detection Techniques and Applications参考文献 59被引用数 8

ひとこと要約

ESAD は、一貫した潜在的制約を備えた二重エンコーダーを用いて、相互情報量とエントロピーの両目的の衝突を解消する、新しいエンコーダ・デコーダ・エンコーダー構造を採用したエンド・ツー・エンドの深層半教師あり異常検出手法を提案する。この手法は、相互情報量とエントロピーを共同で最適化することで、医療画像や標準的な異常検出データセットを含む複数のベンチマークで最先端の性能を達成し、ラベル汚染に対して優れた耐性を示し、多様な異常クラスへの一般化性能も向上する。

ABSTRACT

This paper explores semi-supervised anomaly detection, a more practical setting for anomaly detection where a small additional set of labeled samples are provided. We propose a new KL-divergence based objective function for semi-supervised anomaly detection, and show that two factors: the mutual information between the data and latent representations, and the entropy of latent representations, constitute an integral objective function for anomaly detection. To resolve the contradiction in simultaneously optimizing the two factors, we propose a novel encoder-decoder-encoder structure, with the first encoder focusing on optimizing the mutual information and the second encoder focusing on optimizing the entropy. The two encoders are enforced to share similar encoding with a consistent constraint on their latent representations. Extensive experiments have revealed that the proposed method significantly outperforms several state-of-the-arts on multiple benchmark datasets, including medical diagnosis and several classic anomaly detection benchmarks.

研究の動機と目的

• 半教師あり異常検出における、相互情報量とエントロピーという対立する目的を最適化する課題に対処すること。
• Deep SAD などの二段階訓練手法で見られるモデル崩壊問題を克服すること。特に、エントロピー最小化が相互情報量に悪影響を及える問題を解消すること。
• 相互情報量とエントロピーを統合的な目的関数に統合することで、エンド・ツー・エンドの訓練を可能にすること。
• 汚染された未ラベルデータに対して耐性を高めるとともに、多様な異常クラスへの一般化性能を向上させること。

提案手法

• データと潜在的表現の間の相互情報量と、潜在的表現のエントロピーに分解可能な、KLダイバージェンスに基づく目的関数を提案する。
• 正常データの相互情報量最大化に焦点を当てたエンコーダと、異常データのエントロピー最小化に焦点を当てた別のエンコーダを備えた、エンコーダ・デコーダ・エンコーダー構造を導入する。
• 両エンコーダ間で一貫した潜在的表現を強制することで、最適化の専門性を保ちつつ整合性を維持する。
• 自己教師あり再構成損失をオートエンコーダー部に導入し、データ再構成の正確性を保持する。
• 訓練の安定化と両エンコーダーが同一の定数関数に収束するのを防ぐために、補助損失項（λ₂）を導入する。
• 相互情報量の最大化とエントロピーの制御を、エンド・ツー・エンドの方法で同時に最適化するフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 半教師あり異常検出において、相互情報量とエントロピーを一つのエンド・ツー・エンドフレームワークで共同最適化できるか？
• RQ2 訓練中に、相互情報量の最大化とエントロピーの最小化という本質的対立をどのように解消できるか？
• RQ3 二重の特化したエンコーダーを備えたエンコーダ・デコーダ・エンコーダー構造は、逐次的または単一エンコーダー手法よりも性能を向上させるか？
• RQ4 提案手法は、未ラベルデータにラベル汚染が存在する場合にも耐性を示すか？
• RQ5 ラベル付き異常クラスの多様性を高めることで、検出性能が向上するか？

主な発見

• ESAD は、CIFAR-10、MNIST、および Camelyon16 や NIH のチストレッドX線画像などの医療画像データセットを含む、複数のベンチマークデータセットで最先端の性能を達成した。
• CIFAR-10 において、ラベル付き異常クラス数が 1 から 5 に増加した場合、5% のラベル付きデータと 10% の汚染率（γₚ = 0.1）のもとで、AUC が 81.9% から 86.7% に向上した。
• 汚染された未ラベルデータ（γₚ = 0.1）が存在する状況でも、他の手法と比較して最も性能低下が小さく、優れた耐性を示した。
• 補助損失重み λ₂ を 1 に設定した際に最適な性能が得られ、λ₂ が大きすぎたり 0 に近すぎたりすると性能が低下した。これにより、λ₂ が訓練の安定化に果たす役割が裏付けられた。
• T-SNE 視覚化により、二つのエンコーダーが異なるが一貫した表現を学習していることが確認され、設計が対立する目的をバランスさせる能力を有していることが検証された。
• ラベル付き異常データが完全に存在しない不完全な教師なし設定でも、ESAD は競争力ある性能を示したが、この状況を想定した設計ではない。