[論文レビュー] Unsupervised Anomaly Detection via Deep Metric Learning with End-to-End Optimization

Selim F. Yilmaz, Süleyman S. Kozat|arXiv (Cornell University)|May 12, 2020

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、異常データと正常データの分離を向上させるために、データの射影とメトリック学習を同時に最適化するエンドツーエンドのディープメトリック学習フレームワークを提案する。自己教師付きデータドリルとハードな正常サンプルのマイニングを導入することで、14の実世界データセットにおいて4.44%から11.74%の絶対的AUC向上を達成し、SOTAの性能を実現した。また、推論の計算量はO(1)を維持している。

ABSTRACT

We investigate unsupervised anomaly detection for high-dimensional data and introduce a deep metric learning (DML) based framework. In particular, we learn a distance metric through a deep neural network. Through this metric, we project the data into the metric space that better separates the anomalies from the normal data and reduces the effect of the curse of dimensionality for high-dimensional data. We present a novel data distillation method through self-supervision to remedy the conventional practice of assuming all data as normal. We also employ the hard mining technique from the DML literature. We show these components improve the performance of our model and significantly reduce the running time. Through an extensive set of experiments on the 14 real-world datasets, our method demonstrates significant performance gains compared to the state-of-the-art unsupervised anomaly detection methods, e.g., an absolute improvement between 4.44% and 11.74% on the average over the 14 datasets. Furthermore, we share the source code of our method on Github to facilitate further research.

研究の動機と目的

• ラベル付き異常データが高価または入手困難な高次元データにおける教師なし異常検出の課題に対処すること。
• 従来の2段階的手法で採用されている次元削減とモデリングの段階が分離されているため、性能が最適でない問題を克服すること。
• 異常と正常のインスタンスをよりよく分離するメトリック空間を学習することで、誤検出を低減し、モデルのロバスト性を向上させること。
• 中心からの距離スコア関数を用いることで、O(1)の時間およびメモリ計算量を維持し、効率的な推論を可能にすること。
• モジュラーニューラルネットワークアーキテクチャを用いることで、さまざまなデータタイプに対応可能な汎用的かつ柔軟なフレームワークを提供すること。

提案手法

• 本手法は、ディープニューラルネットワークを用いて入力データを、正常インスタンスが互いに近づくように学習されたメトリック空間に射影する。
• 類似するインスタンス間の距離を最小化し、類似しないインスタンス間の距離を最大化する類似度ベースの損失関数を用い、エンドツーエンドで最適化する。
• 各エポックにおいて、モデルの信頼度に基づいて最も可能性の高い正常インスタンスのみを抽出する、新しい自己教師付きデータドリル技術を導入し、外れ値に対してよりロバストな学習を実現する。
• ハードな正常マイニングを実施し、メトリック空間の中心から最も離れている（最も難しい）正常インスタンスに注目して学習更新を行うことで、分離性能を向上させる。
• 異常スコアは、各インスタンスとドリルされた正常データの重心とのL2距離として計算され、O(1)の推論時間とメモリ使用量を実現する。
• フレームワークは、画像にはCNN、時系列データにはRNN、その他のデータモダリティにはモジュラー設計により柔軟に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 従来の2段階的手法と比較して、エンドツーエンドのディープメトリック学習は教師なし異常検出の性能を向上させることができるか？
• RQ2 未知の異常を含む訓練データにおいて、自己教師付きデータドリルはモデルのロバスト性をどのように向上させるか？
• RQ3 ラベルなし状況下で、ハードな正常マイニングの影響はモデルの一般化性能にどのような影響を与えるか？
• RQ4 本手法は、多様なデータタイプにわたり、O(1)の推論計算量を維持する高効率性を保っているか？
• RQ5 異常率やデータ分布が異なる複数のデータセットに、本手法はどの程度一般化可能か？

主な発見

• 提案手法は、14の実世界データセットにおいて、SOTAの教師なし異常検出手法と比較して、平均AUCが4.44%から11.74%の絶対的向上を達成した。
• すべての設定（既知、未知、1クラス）においてロバストな性能を示し、ρⁿ > 0.5の範囲でデータドリル比ρⁿの感度が最小限に抑えられており、ハイパーパrameterへの感受性が低いことが示された。
• ρʰ < 0.35のハードな正常マイニングは、既知および未知の設定でわずかな性能向上をもたらし、実行時間を短縮するため、効率的かつ効果的である。
• 真の正常率が0.9375であっても、自己教師付きドリルのおかげで最適な性能を維持でき、ρⁿ ≈ 0.5で最良の結果が得られた。
• すべてのρⁿおよびρʰの値において、Letterデータセットではすべてのベースラインを上回り、多様な設定下での一貫した優位性を確認した。
• O(1)のスコア関数により、リアルタイム推論が可能であり、時間的制約のある異常検出アプリケーションへの導入に適している。