[論文レビュー] Supervised Anomaly Detection based on Deep Autoregressive Density Estimators

Tomoharu Iwata, Yuki Yamanaka|arXiv (Cornell University)|Apr 12, 2019

Anomaly Detection Techniques and Applications参考文献 49被引用数 8

ひとこと要約

本稿では、正常インスタンスの尤度を同時に最大化し、異常インスタンスの尤度を最小化するように、対数尤度比正則化を用いて、正常と異常を統合的に扱う深層自己回帰的密度推定器を用いた教師あり異常検出手法を提案する。この手法は16のデータセットにおいて最先端の性能を達成し、特にラベル付き異常例が少ない状況でも、非教師ありおよび教師ありベースラインを上回る。これは正確な密度推定とラベルに配慮した学習を活用することで実現される。

ABSTRACT

We propose a supervised anomaly detection method based on neural density estimators, where the negative log likelihood is used for the anomaly score. Density estimators have been widely used for unsupervised anomaly detection. By the recent advance of deep learning, the density estimation performance has been greatly improved. However, the neural density estimators cannot exploit anomaly label information, which would be valuable for improving the anomaly detection performance. The proposed method effectively utilizes the anomaly label information by training the neural density estimator so that the likelihood of normal instances is maximized and the likelihood of anomalous instances is lower than that of the normal instances. We employ an autoregressive model for the neural density estimator, which enables us to calculate the likelihood exactly. With the experiments using 16 datasets, we demonstrate that the proposed method improves the anomaly detection performance with a few labeled anomalous instances, and achieves better performance than existing unsupervised and supervised anomaly detection methods.

研究の動機と目的

• 非教師ありニューラル密度推定器が異常ラベル情報を利用できないという限界を解消すること。
• ラベル付き異常例が非常に少ない状況でも、異常検出性能を向上させること。
• 密度推定の長所（低密度領域の検出）と教師あり学習の長所（判別境界の学習）を統合すること。
• 正常データの尤度最大化と異常識別をバランスさせる微分可能な目的関数を設計すること。
• 多様な実世界のデータセットにおいて、従来の非教師ありおよび教師あり異常検出手法と比較して本手法の優位性を示すこと。

提案手法

• 正確な尤度計算を可能にする深層自己回帰モデル（例：MADE）を用いて、データ密度をモデル化する。
• インスタンスの異常スコアを、学習済み密度モデルにおける負の対数尤度として定義する。
• 正常インスタンスの対数尤度を最大化し、異常インスタンスの尤度が高くなりすぎないようにするための対数尤度比正則化項を用いて、共同目的関数を提案する。
• 尤度最大化と異常識別とのトレードオフを調整するためのハイパーパrameter λ を導入する。
• 微分可能な目的関数を用いて確率的勾配降下法でモデルを学習し、エンドツーエンド最適化を可能にする。
• 検証データを用いて λ をチューニングし、データセットの特性に応じて尤度最大化または異常識別を優先するように自動的にモデルを適応させる。

実験結果

リサーチクエスチョン

• RQ1 異常ラベル情報を効果的に活用しつつ、正確な尤度計算を維持できるように、ニューラル密度推定器を訓練できるか？
• RQ2 正則化項を通じてラベル情報を組み込むことで、とくにラベル付き異常例が少ない状況でも異常検出性能が向上するか？
• RQ3 AUCと耐性の観点から、本手法は非教師あり密度推定器および標準的な教師あり分類器と比較して、多様なデータセットで優れているか？
• RQ4 尤度最大化と異常識別との最適なバランスは何か？また、これはデータセットごとにどのように変化するか？
• RQ5 従来の手法が失敗する、正常インスタンスが存在しない領域や、密集した異常クラスタ内でも、本手法は異常を検出できるか？

主な発見

• 提案手法は、16のベンチマークデータセットにおいて、比較対象の10手法の中で平均AUCが最高を記録した。
• 3つのラベル付き異常インスタンスのみを用いても、平均AUCが0.859を達成し、いくつかのデータセットで非教師あり手法（MADE）や教師ありベースライン（SVM）を顕著に上回った。
• Annthyroid、PenDigits、Wiltの各データセットで、非教師ありMADEベースラインを上回り、AUCの向上が統計的に有意であった。
• ラベル付き異常インスタンスが0個のときの平均AUCが0.807から、5個のときには0.859に上昇し、高いデータ効率性を示した。
• ハイパーパrameter λ はデータセット依存であり、最適値は低値から高値まで変動したため、適応的チューニングの必要性が示された。
• 非教師ありおよび教師あり手法が正常領域に密集した異常を検出できなかった合成例において、本手法はすべてのテスト異常を正しく検出できた。