[論文レビュー] Reconstruction Error-based Anomaly Detection with Few Outlying Examples

Fabrizio Angiulli, Fabio Fassetti+1 more|arXiv (Cornell University)|May 17, 2023

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、再構成誤差に基づくオートエンコーダーを、修正された損失関数を通じて少数のラベル付き異常例を統合することで、性能を向上させる新しい半教師付き異常検出手法AE–SADを提案する。この手法により、正常データと異常データの再構成誤差の対比が強化され、データ汚染や分布シフトの下でも、既知の異常クラスおよび未知の異常クラスの両方において、検出性能が顕著に向上する。

ABSTRACT

Reconstruction error-based neural architectures constitute a classical deep learning approach to anomaly detection which has shown great performances. It consists in training an Autoencoder to reconstruct a set of examples deemed to represent the normality and then to point out as anomalies those data that show a sufficiently large reconstruction error. Unfortunately, these architectures often become able to well reconstruct also the anomalies in the data. This phenomenon is more evident when there are anomalies in the training set. In particular when these anomalies are labeled, a setting called semi-supervised, the best way to train Autoencoders is to ignore anomalies and minimize the reconstruction error on normal data. The goal of this work is to investigate approaches to allow reconstruction error-based architectures to instruct the model to put known anomalies outside of the domain description of the normal data. Specifically, our strategy exploits a limited number of anomalous examples to increase the contrast between the reconstruction error associated with normal examples and those associated with both known and unknown anomalies, thus enhancing anomaly detection performances. The experiments show that this new procedure achieves better performances than the standard Autoencoder approach and the main deep learning techniques for semi-supervised anomaly detection.

研究の動機と目的

• 標準的なオートエンコーダーが、正常と異常データが混合したデータで学習を行うと、意図せず異常を再構成してしまうという限界に対処すること。
• 再構成誤差に基づく異常検出の一般化性能を向上させるために、少数のラベル付き異常例を活用する手法を開発すること。
• 正常データと既知の異常、および未知の異常の再構成誤差の対比を強化し、検出のロバスト性を向上させること。
• データ汚染や分布シフトが生じるような厳しい条件下でも、テーブルデータおよび画像データのデータセットに対してこの手法を評価すること。
• 提案手法が、最先端の教師なしおよび半教師付き異常検出手法を上回ることを示すこと。

提案手法

• 既知の異常例での再構成誤差が低くならないように明示的にペナルティを与える新しい損失関数をオートエンコーダーに導入し、異常例の再構成を悪くするように誘導する。
• 標準的なオートエンコーダーの学習目的を、正常と異常サンプルの再構成誤差の差を広げる対比項を追加することで修正する。
• 標準的なフィードフォワードまたは畳み込みオートエンコーダーのアーキテクチャを用いて、テーブルデータおよび画像データの両方に対してAE–SADアルゴリズムを適用する。
• 正常再構成誤差の最小化と異常再構成誤差の最大化の間のトレードオフを制御するためのハイパーパrameterを導入する。
• 学習中に未ラベルの異常データを一切使用せず、ドメイン分離を維持するために、正常データと既知の異常データのみを用いてモデルを学習する。
• 多様な異常シナリオにおける検出性能を評価するために、AUCを主な評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付き異常例が、半教師付き異常検出における再構成誤差に基づくオートエンコーダーの性能を顕著に向上させることができるか？
• RQ2 提案されたAE–SAD手法は、既知の異常および未知の異常を検出する面で、標準的なオートエンコーダーや他の最先端のディープラーニング手法を上回る性能を示すか？
• RQ3 訓練データに誤ってラベル付けされた異常例が含まれるなど、データ汚染に対してAE–SADはどれほどロバストか？
• RQ4 訓練時に見られなかったクラスの異常がテスト時に出現する場合、AE–SADは適切に一般化できるか？
• RQ5 AE–SADはハイパーパrameterの選択に対してどれほど感度が高く、最適な性能を得るにはどの程度のエポック数が必要か？

主な発見

• AE–SADは、テーブルデータおよび画像データの両方で最先端の性能を達成し、標準的なオートエンコーダーや最先端のディープラーニング手法を上回っている。
• MNISTおよびE-MNISTデータセットにおいて、1対全（one-vs-all）設定ではAUC .98 ± .00、1対多（one-vs-many）設定ではAUC .99 ± .00を達成し、常に1位または2位にランクインしている。
• 多対多（many-vs-many）のシナリオでは、テスト異常データが訓練セットに存在しないクラスに属する場合、AE–SADは$A^{3}$を上回り、AUC .92 ± .01を達成したのに対し、$A^{3}$はAUC .88 ± .03にとどまった。
• 訓練セットに15%の汚染が含まれても、AE–SADは依然として高い性能を維持しており、誤ってラベル付けされた正常データに対するロバストネスを示している。
• 未知の異常クラスへの一般化が効果的に機能し、訓練異常とは異なる分布からのテスト異常に対しても優れた検出能力を示している。
• 感度分析により、AE–SADはハイパーパrameterの選択に対してあまり感度が高くなく、少ないエポック数で収束することが確認された。