[論文レビュー] Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection

Yuxin Zhang, Jindong Wang+3 more|arXiv (Cornell University)|Jan 3, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、自己教師あり学習と適応的メモリ融合モジュールを組み合わせることで多様な正常パターンを捉え、一般化性能を向上させる、多変量時系列における未学習異常検出の新規手法である自己適応的メモリネットワークと自己教師あり学習（AMSL）を提案する。9億サンプルの大型CAP睡眠ステージデータセットにおいて、AMSLはF1スコアおよび正答率の両面で次善の手法を4%以上上回り、優れた性能、頑健性、効率性を示した。

ABSTRACT

Unsupervised anomaly detection aims to build models to effectively detect unseen anomalies by only training on the normal data. Although previous reconstruction-based methods have made fruitful progress, their generalization ability is limited due to two critical challenges. First, the training dataset only contains normal patterns, which limits the model generalization ability. Second, the feature representations learned by existing models often lack representativeness which hampers the ability to preserve the diversity of normal patterns. In this paper, we propose a novel approach called Adaptive Memory Network with Self-supervised Learning (AMSL) to address these challenges and enhance the generalization ability in unsupervised anomaly detection. Based on the convolutional autoencoder structure, AMSL incorporates a self-supervised learning module to learn general normal patterns and an adaptive memory fusion module to learn rich feature representations. Experiments on four public multivariate time series datasets demonstrate that AMSL significantly improves the performance compared to other state-of-the-art methods. Specifically, on the largest CAP sleep stage detection dataset with 900 million samples, AMSL outperforms the second-best baseline by extbf{4}\%+ in both accuracy and F1 score. Apart from the enhanced generalization ability, AMSL is also more robust against input noise.

研究の動機と目的

• 正常データのみで訓練された未学習異常検出モデルの一般化性能が限られている問題に対処すること。
• 正常パターンの多様性を捉えられていない、不十分に代表される特徴表現が原因で生じる課題を克服すること。
• 未知の異常および入力ノイズに対してモデルの頑健性を向上させること。
• 大規模で現実世界の多変量時系列データに効果的に一般化できる手法を開発すること。

提案手法

• 自己教師あり学習モジュールを畳み込みオートエンコーダーの枠組みに統合し、ラベルなしの正常データから一般化可能な正常パターンを学習する。
• 時系列全体に共通する特徴を捉えるグローバルメモリモジュールと、インスタンス固有の詳細なパターンを保持するローカルメモリモジュールを採用する。
• 入力コンテキストに応じて動的にグローバル表現とローカル表現を統合する適応的メモリ統合モジュールを用い、特徴表現の代表性を向上させる。
• ノイズ、スケーリング、並べ替え、反転などのデータ拡張を用いた対照的学習により、自己教師あり表現学習を強化する。
• 再構成損失、自己教師あり対照的損失、正則化をバランスさせるマルチコンポonent損失関数を用いて、モデルをエンドツーエンドで最適化する。
• 異常検出に、再構成誤差の99百分位数に基づくしきい値を適用し、分布シフトに対して頑健性を確保する。

Figure 1: Illustration of AMSL. Even with similar inputs ((a) and (b)), existing methods can overfit to the anomalies; On the other hand, when the inputs are diverse ((a) and (c)), our method remains accurate while existing methods can fail. $Axis$ represents three dimensional signals on dataset.

実験結果

リサーチクエスチョン

• RQ1 正常データのみが利用可能な状況下で、自己教師あり学習が未学習異常検出モデルの一般化性能を向上させられるか？
• RQ2 メモリネットワークをどのように設計すれば、正常時系列パターンにおけるグローバルな共通性とローカルな多様性を両立できるか？
• RQ3 グローバルおよびローカルメモリ表現の適応的統合が、未知の異常における検出性能を向上させるか？
• RQ4 限られたラベル付き異常データを伴う高次元・大規模時系列データにおいて、提案手法はどのように性能を発揮するか？
• RQ5 入力ノイズや分布シフトの下でも、モデルは高い性能と頑健性を維持できるか？

主な発見

• 9億サンプルのCAP睡眠ステージ検出データセットにおいて、AMSLは2番目に優れたベースライン手法よりもF1スコアで4.1%、正答率で4.2%向上した。
• 99百分位数をしきい値として使用した場合、AMSLはF1スコア（0.9750）と正答率（0.9770）の最高値を記録し、90百分位数や95百分位数のしきい値を用いた場合を上回った。
• モデルは安定的かつ迅速に収束し、トレーニング中において再構成損失および自己教師あり対照的損失が一貫して改善した。
• 自己教師ありデータ拡張の数を減らしても（例：'ノイズ'や'Scale'変換を除外しても）、F1スコアが3つの変換のみでも0.90以上を維持した。
• AMSLはパラメータ数（150万）とモデルサイズ（5.7MB）が多数のベースラインを下回りながら、優れた性能を達成しており、高い効率性を示している。

Figure 2: The structure of the proposed AMSL. It consists of four components: self-supervised learning, global memory, local memory and adaptive fusion. The notation “ $\times R$ ” denotes $R$ copies where each one corresponds to one transformation.