[論文レビュー] DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly Detection

Hadi Hojjati, Narges Armanfard|arXiv (Cornell University)|Jun 9, 2021

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

DASVDDは、正常データの潜在空間における最小体積超球を学習するため、深層オートエンコーダとサポートベクタデータ記述子（SVDD）を統合した共同学習フレームワークを提案する。再構築誤差と超球中心からの距離を統合した異常スコアを用いることで、DASVDDは超球収縮問題を回避し、画像、音声、産業データを含む多様なベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Semi-supervised anomaly detection aims to detect anomalies from normal samples using a model that is trained on normal data. With recent advancements in deep learning, researchers have designed efficient deep anomaly detection methods. Existing works commonly use neural networks to map the data into a more informative representation and then apply an anomaly detection algorithm. In this paper, we propose a method, DASVDD, that jointly learns the parameters of an autoencoder while minimizing the volume of an enclosing hyper-sphere on its latent representation. We propose an anomaly score which is a combination of autoencoder's reconstruction error and the distance from the center of the enclosing hypersphere in the latent representation. Minimizing this anomaly score aids us in learning the underlying distribution of the normal class during training. Including the reconstruction error in the anomaly score ensures that DASVDD does not suffer from the common hypersphere collapse issue since the DASVDD model does not converge to the trivial solution of mapping all inputs to a constant point in the latent representation. Experimental evaluations on several benchmark datasets show that the proposed method outperforms the commonly used state-of-the-art anomaly detection algorithms while maintaining robust performance across different anomaly classes.

研究の動機と目的

• すべての入力を単一の点に自明にマッピングする、深層一様異常検出における超球収縮問題に対処する。
• ドメイン固有の変換を必要とせずに、画像、音声、産業信号、医療データなど多様なデータタイプにおける異常検出の一般化性能とロバスト性を向上させる。
• オートエンコーダの再構築とSVDDによる超球最小化を同時に最適化する統合型学習目的関数を開発する。
• 超球中心とネットワークバイアスのエンドツーエンド学習を行っても、モデルの有効性が保たれ、アーキテクチャ的制約が生じないことを保証する。

提案手法

• 潜在表現にサポートベクタデータ記述子（SVDD）を適用し、包摂超球の体積を最小化するように、深層オートエンコーダをエンドツーエンドで学習する。
• オートエンコーダの再構築誤差と潜在空間における学習済み超球中心からのL2距離の重み付き和として、新しい異常スコアを定義する。
• 再構築誤差（平均二乗誤差による）とSVDD損失（マージンに基づく超球最小化による）のバランスを取る総損失関数を最適化する。
• 各エポックにおけるオートエンコーダ学習と超球中心更新のトレードオフを制御するためのハイパーパrameter κを導入する。
• 超球中心のヒューリスティックな初期化を実施し、学習率スケーリングを適用して学習ダイナミクスの安定化を図る。
• 過完備オートエンコーダ（例：潜在次元数 ≥ 入力次元数）でさえも自明な解を防ぐために、潜在表現を正則化する。

Figure 1: Overview of the proposed method DASVDD.

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダとSVDDの共同学習フレームワークは、DSVDDや他の深層一様手法で一般的な超球収縮問題を回避できるか？
• RQ2 異常スコアに再構築誤差と超球距離を統合することで、単独で使用するいずれの指標よりも検出性能が向上するか？
• RQ3 ドメイン固有の前処理を必要とせずに、DASVDDは画像、音声、表形式データなど多様なデータモダリティにどの程度一般化できるか？
• RQ4 ハイパーパrameter κ や潜在次元数の変更に伴い、DASVDDの性能はどの程度感度を示すか？
• RQ5 提案手法は、多様なベンチマークデータセットで既存の最先端一様異常検出アルゴリズムを上回るか？

主な発見

• DASVDDは、MNIST、CIFAR-10、音声および産業音声データセットを含む7つのベンチマークデータセットで、複数の最先端異常検出手法を上回る性能を達成した。
• MNISTではκ = 0.9で最適な性能を発揮し、κ = 1.0（中心を固定）または低すぎる値に設定すると、オートエンコーダの学習データが不十分となり性能が低下することが示された。
• MNIST、CIFAR-10、Fashion MNISTにおいて、潜在表現のサイズが性能にほとんど影響しないことが判明した。これは、入力次元を超える過完備符号化でもロバストであることを示している。
• 提案された異常スコアは、再構築誤差項が潜在空間における点への収縮を積極的に妨げるため、超球収縮を効果的に防止している。
• DASVDDは、画像、音声、インシデント検出、医療データなど多様な分野で強力な性能を維持しており、入力固有の変換を必要とせずに一般化能力を示している。
• 学習ダイナミクスの分析から、SVDD損失は初期段階で急激に減少するが、後続段階では再構築誤差が支配的になることが判明し、初期学習段階以降はオートエンコーダ部が最適化の主導的要因となることが示された。

Figure 2: Samples with the lowest (top row) and highest (bottom row) anomaly scores in MNIST (10 left columns) and FMNIST (10 right columns).