[論文レビュー] On Diffusion Modeling for Anomaly Detection

Victor Livernoche, Vineet Jain+2 more|arXiv (Cornell University)|May 29, 2023

Complex Network Analysis Techniques被引用数 4

ひとこと要約

本稿では、異常検出のためのDenoising Diffusion Probabilistic Models (DDPM)の計算効率の良い代替手法として、Diffusion Time Estimation (DTE)を提案する。入力の拡散時間に関する事後分布を推定し、そのモードまたは平均を異常スコアとして用いることで、ADBenchベンチマークにおいてDDPMと比較して100倍以上高速な推論を達成しながら、性能も同等以上を示した。

ABSTRACT

Known for their impressive performance in generative modeling, diffusion models are attractive candidates for density-based anomaly detection. This paper investigates different variations of diffusion modeling for unsupervised and semi-supervised anomaly detection. In particular, we find that Denoising Diffusion Probability Models (DDPM) are performant on anomaly detection benchmarks yet computationally expensive. By simplifying DDPM in application to anomaly detection, we are naturally led to an alternative approach called Diffusion Time Estimation (DTE). DTE estimates the distribution over diffusion time for a given input and uses the mode or mean of this distribution as the anomaly score. We derive an analytical form for this density and leverage a deep neural network to improve inference efficiency. Through empirical evaluations on the ADBench benchmark, we demonstrate that all diffusion-based anomaly detection methods perform competitively for both semi-supervised and unsupervised settings. Notably, DTE achieves orders of magnitude faster inference time than DDPM, while outperforming it on this benchmark. These results establish diffusion-based anomaly detection as a scalable alternative to traditional methods and recent deep-learning techniques for standard unsupervised and semi-supervised anomaly detection settings.

研究の動機と目的

• 表形式、画像、自然言語データの多様なデータセットにおいて、一般化された異常検出のための拡散モデル、特にDDPMの性能を評価すること。
• 異常検出におけるDDPMの高い計算コストを軽減するために、推論プロセスを単純化すること。
• 教師ありおよび教師なし設定においても高い性能を維持しながら、より効率的かつスケーラブルなDDPMの代替手法を開発すること。
• 拡散ベースの異常検出手法の解釈可能性および一般化能力を調査すること。
• ADBenchの57の多様なデータセットに対して、提案手法を古典的手法および深層学習ベースの手法と比較してベンチマークすること。

提案手法

• 入力の拡散時間に関する事後分布を推定することで、異常検出の代理指標とするDiffusion Time Estimation (DTE)を提案する。
• 拡散時間の事後分布に対して解析的表現を導出し、非パラメトリック推定を可能にした。この推定は、異常検出においてk-Nearest Neighbors (kNN)と同等である。
• パラメトリックな深層ニューラルネットワークを導入し、事後分布をモデル化することで、効率的な推論と多様なデータセットにおける一般化性能の向上を実現する。
• 推定された拡散時間分布のモードまたは平均を異常スコアとして用い、値が大きいほど異常度が高くなるようにする。
• すべてのデータセットおよび設定で同一の深層ニューラルネットワークアーキテクチャを用いることで、スケーラビリティと一般化性能を確保する。
• ADBenchベンチマーク上で手法を検証し、教師なしおよび教師あり設定の両方で57のデータセットにおいて性能と推論時間を比較した。

実験結果

リサーチクエスチョン

• RQ1 DDPMのような拡散モデルは、画像固有のタスクにとどまらず、多様な異常検出ベンチマークでも競争力のある性能を達成できるか？
• RQ2 異常検出における性能を損なわずに、DDPMの計算コストをどのように低減できるか？
• RQ3 DDPMの推論を簡素化した代理指標は存在するか？ その場合、性能を維持しながら推論を高速化できるか？
• RQ4 1つの深層ニューラルネットワークアーキテクチャが、表形式、画像、テキストといった多様なデータタイプにおいて、拡散ベースの原理を用いた異常検出で効果的に一般化できるか？
• RQ5 提案されたDTE手法は、複数のデータセットおよび設定において、古典的手法および深層学習ベースの手法と比較して、性能と効率の両面で優れているか？

主な発見

• DTEは、元のDDPMと比較して推論が桁違いに高速でありながら、ADBenchベンチマークで性能を維持または向上させた。
• ADBenchの教師あり設定において、DTEは平均AUC ROCと推論速度の両面でDDPMを上回り、効率-精度トレードオフのプロットにおいて右下に位置した。
• 非パラメトリック版のDTEは、k-Nearest Neighbors (kNN)と同一の異常順位を生成し、拡散モデリングと古典的手法との間の理論的関連を確立した。
• パラメトリックなDTEモデルは、1つの深層ニューラルネットワークを用いて57の多様なデータセットに良好に一般化し、表形式、画像、自然言語データのすべてで優れた性能を示した。
• DDPMおよびDTEを含むすべての拡散ベースの手法は、教師なしおよび教師ありの両設定において、競争力のある性能を示し、古典的手法の優位性を脅かした。
• 本研究は、標準的な異常検出設定において、拡散ベースの異常検出が従来の手法および最近の深層学習技術の代替としてスケーラブルかつ効果的であることを確認した。