[論文レビュー] Autoencoding Binary Classifiers for Supervised Anomaly Detection

Yuki Yamanaka, Tomoharu Iwata+3 more|arXiv (Cornell University)|Mar 26, 2019

Anomaly Detection Techniques and Applications参考文献 22被引用数 4

ひとこと要約

本稿では、自己符号化器と確率的二値分類を組み合わせることで、既知の異常と未知の異常を同時に効果的に検出できる、新たな教師あり異常検出手法である自動符号化二値分類器（ABC）を提案する。ラベル尤度を自己符号化器の再構築誤差によってモデル化することで、ABCは正常データに対して再構築誤差を最小化し、既知の異常に対しては最大化するように学習させることで、安定した学習と、従来の教師あり・教師なし手法を上回る優れた性能を達成する。

ABSTRACT

We propose the Autoencoding Binary Classifiers (ABC), a novel supervised anomaly detector based on the Autoencoder (AE). There are two main approaches in anomaly detection: supervised and unsupervised. The supervised approach accurately detects the known anomalies included in training data, but it cannot detect the unknown anomalies. Meanwhile, the unsupervised approach can detect both known and unknown anomalies that are located away from normal data points. However, it does not detect known anomalies as accurately as the supervised approach. Furthermore, even if we have labeled normal data points and anomalies, the unsupervised approach cannot utilize these labels. The ABC is a probabilistic binary classifier that effectively exploits the label information, where normal data points are modeled using the AE as a component. By maximizing the likelihood, the AE in the proposed ABC is trained to minimize the reconstruction error for normal data points, and to maximize it for known anomalies. Since our approach becomes able to reconstruct the normal data points accurately and fails to reconstruct the known and unknown anomalies, it can accurately discriminate both known and unknown anomalies from normal data points. Experimental results show that the ABC achieves higher detection performance than existing supervised and unsupervised methods.

研究の動機と目的

• 純粋な教師あり異常検出の限界に対処する。これは未知の異常を検出できない上に、クラス不均衡に対しても脆弱である。
• 再構築能力の制限（LRC）のような既存の半教師ありアプローチの不安定性を克服する。LRCは異常に対して再構築誤差を最大化するが、再構築誤差の上限がないため、学習が不安定になる。
• 自己符号化器に基づく異常検出にラベル情報を統合しながら、未知の異常を検出できる能力を損なわないようにする。
• 既知の異常が少ない、もしくは訓練データで過小表現されている場合でも、高い性能を維持する手法を開発する。
• 訓練中に既知の異常が存在しない場合、統一されたフレームワークとして、自己符号化器としての性質を保つことにより、低データ環境でも堅牢性を確保する。

提案手法

• データポイントが与えられたもとでのラベル（正常／異常）の条件付き確率をベルヌーイ分布としてモデル化する。
• このベルヌーイ分布の負の対数尤度を損失関数として用い、自己符号化器の再構築誤差によって近似する。
• 正常データポイントに対して再構築誤差を最小化し、既知の異常に対しては最大化するように自己符号化器を学習させることで、正常と異常データを分離する意思決定境界を効果的に学習する。
• LRCが再構築誤差に上限がないのに対し、ABCは上界および下界の両方で目的関数を制限することで、学習の安定性を確保する。
• 生の再構築誤差よりも信頼性の高い異常スコアとして、得られた条件付き確率を利用する。
• 正常データをよく再構築できるが、既知および未知の異常に対しては失敗するような潜在表現を学習することで、未知の異常への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既知および未知の異常を効果的に検出できる教師あり異常検出手法を設計できるか？
• RQ2 ラベル情報を自己符号化器ベースのモデルに統合する方法は何か？ ただし、学習の不安定性を引き起こさないものとする。
• RQ3 教師ありと教師なしの原則を統合したハイブリッドアプローチは、純粋な教師ありまたは教師なし手法を上回る性能を発揮するか？
• RQ4 既知の異常数が少ない、もしくはクラス不均衡な状況下で、この手法はどのように性能を発揮するか？
• RQ5 訓練中に既知の異常が存在しない場合、モデルは自己符号化器としての性質を保持できるか？

主な発見

• ABCは、MNIST、KDD’99、CIFAR-10、2D-Toyを含む複数のベンチマークデータセットで最先端の性能を達成し、AUROCスコアが従来の教師ありおよび教師なし手法を常に上回っている。
• 2D-Toyデータセットでは、設定1において既知の異常に対してAUROC 0.997(001)、未知の異常に対してAUROC 0.988(019)を達成し、未観測の異常への強力な一般化能力を示している。
• 既知の異常数が減少しても、ABCは高い検出性能（既知の異常に対してAUROC ≈ 0.965）を維持するが、RUSBoost や DNN などの他の教師あり手法は著しく性能を低下させる。
• 設定2では、MNIST において既知の異常に対してAUROC 0.999(000)、未知の異常に対してAUROC 0.823(016)を達成し、異常データが限られた状況下でも堅牢性を示している。
• ABCでは、正常データポイントおよび異常データの訓練損失が安定しており、LRCとは異なり、再構築誤差が無限大に発散するための不安定な最適化を示さない。
• 訓練中に既知の異常が存在しない場合、ABCは標準的な自己符号化器としての振る舞いを示し、再トレーニングやアーキテクチャ変更なしに、低データ環境でも一貫した性能を発揮する。