[論文レビュー] Neural Transformation Learning for Deep Anomaly Detection Beyond Images

Qiu Chen, Timo Pfrommer+3 more|arXiv (Cornell University)|Mar 30, 2021

Anomaly Detection Techniques and Applications参考文献 55被引用数 22

ひとこと要約

本論文では、時系列データおよび表形式データのための自己教師あり異常検出手法NeuTraL ADを提案する。この手法は、意味的整合性とビューの多様性を保証する決定論的コントラスト損失を用いて、エンドツーエンドでデータ変換を学習する。最先端の性能を達成し、従来手法と比較しててんかん時系列データではAUCが10ポイント向上、心拍リズム異常表形式データではF1スコアが2.9ポイント向上した。

ABSTRACT

Data transformations (e.g. rotations, reflections, and cropping) play an important role in self-supervised learning. Typically, images are transformed into different views, and neural networks trained on tasks involving these views produce useful feature representations for downstream tasks, including anomaly detection. However, for anomaly detection beyond image data, it is often unclear which transformations to use. Here we present a simple end-to-end procedure for anomaly detection with learnable transformations. The key idea is to embed the transformed data into a semantic space such that the transformed data still resemble their untransformed form, while different transformations are easily distinguishable. Extensive experiments on time series demonstrate that our proposed method outperforms existing approaches in the one-vs.-rest setting and is competitive in the more challenging n-vs.-rest anomaly detection task. On tabular datasets from the medical and cyber-security domains, our method learns domain-specific transformations and detects anomalies more accurately than previous work.

研究の動機と目的

• 時系列や表形式データなどの非画像データにおける異常検出のための有効なデータ変換を設計するという課題に対処すること。
• 手作業で設計されたまたは事前に定義された増幅法に依存せずに、有用な変換と異常検出の表現を同時に学習する自己教師あり手法を開発すること。
• 画像以外のデータにおいても、データドメインに特化した変換のエンドツーエンド学習を可能にすることで、異常検出性能を向上させること。
• 敵対的訓練や正則化の必要性を排除するため、意味的整合性とビューの多様性を保証する決定論的コントラスト損失を導入すること。

提案手法

• 本手法は、入力データに適用される学習可能なニューラル変換の集合を用いる。各変換は、可微分関数（例：順方向伝播、残差、乗法的）としてパrameter化され、学習可能なマスクを用いる。
• 変換とエンコーダーを同時に学習するための決定論的コントラスト損失（DCL）を導入し、変換されたビューが意味的内容を保持するとともに、互いに区別可能であるように保証する。
• DCL目的関数は、ネガティブサンプリングやノイズ分布を避けるため、非確率的であり、直接異常スコアとして使用可能である。
• エンコーダーは、元のサンプルと変換されたサンプルを同じ意味的空間に埋め込む。この際、コントラスト損失は、元のサンプルと変換されたサンプルのペア（ポジティブペア）を近づけ、異なるビュー同士を遠ざけるように促進する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、最終的な異常スコアはDCL目的関数そのものから直接得られる。これにより、追加のしきい値設定が不要になる。
• 変換の数Kはハイパーパrameterであり、Kが10を超えて増加するにつれて性能が向上し、安定化することが示された。

実験結果

リサーチクエスチョン

• RQ1 学習可能なニューラル変換は、時系列や表形式データなどの非画像データにおける自己教師あり異常検出性能を向上させることができるか？
• RQ2 ネガティブサンプリングに依存する標準的なコントラスト損失と比較して、決定論的コントラスト損失は、異常検出性能および訓練安定性においてどのように異なるか？
• RQ3 変換のパラメータ化（例：順方向伝播、残差、乗法的）および変換数Kの影響は、検出精度にどのような影響を及えるか？
• RQ4 ドメイン固有の増幅設計を必要とせずに、多様なデータタイプに一般化可能か？

主な発見

• てんかん時系列データセットでは、NeuTraL ADによりAUCが82.6%（最先端）から92.6%に向上し、10ポイントの向上を達成した。
• 心拍リズム異常表形式データセットでは、NeuTraL ADはF1スコア60.3%を達成し、前回の最先端手法GOADと比較して2.9ポイント向上した。
• 1対多およびn対多の異常検出設定の両方において、OC-SVM、LOF、DAGMM、GOAD、DROCCを含むすべてのベースライン手法を上回った。
• 変換数Kを増やすにつれて性能が向上し、Kが約10を超えた段階で安定化した。これは、学習された変換に十分な多様性があることを示している。
• Kが十分に大きい場合には、変換のパラメータ化（順方向伝播、残差、乗法的）にかかわらず、NeuTraL ADは安定した性能を示し、アーキテクチャ間で一般化可能であることがわかった。
• 決定論的コントラスト損失により、直接異常スコアとして使用可能となり、追加のしきい値設定やキャリブレーションステップの必要がなくなった。