[論文レビュー] Self-Supervised Losses for One-Class Textual Anomaly Detection

Kimberly T. Mai, T. Davies+1 more|arXiv (Cornell University)|Apr 12, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、自己教師あり学習を用いたシンプルで効果的なワンクラステキスト異常検出手法を提案する。入力データに対してBERTを微調整し、マスク言語モデル（MLM）、因果的言語モデル（CLM）、対照的学習（SimCSE）のいずれかの自己教師あり学習目的関数を用い、モデルの損失を異常スコアとして使用する。既存手法と比較して、意味的異常では11.6%、文法的異常では22.8%のAUROC向上を達成し、異常タイプや表現特性に応じて性能が変化する。

ABSTRACT

Current deep learning methods for anomaly detection in text rely on supervisory signals in inliers that may be unobtainable or bespoke architectures that are difficult to tune. We study a simpler alternative: fine-tuning Transformers on the inlier data with self-supervised objectives and using the losses as an anomaly score. Overall, the self-supervision approach outperforms other methods under various anomaly detection scenarios, improving the AUROC score on semantic anomalies by 11.6% and on syntactic anomalies by 22.8% on average. Additionally, the optimal objective and resultant learnt representation depend on the type of downstream anomaly. The separability of anomalies and inliers signals that a representation is more effective for detecting semantic anomalies, whilst the presence of narrow feature directions signals a representation that is effective for detecting syntactic anomalies.

研究の動機と目的

• トレーニング時に唯一の正常データしか入手できないワンクラステキスト異常検出の課題に対処すること。
• 教師信号や複雑なアーキテクチャを必要とせずに、自己教師あり微調整目的関数が効果的な異常検出器として機能するかを評価すること。
• 意味的異常と文法的異常の両方の異常タイプに基づき、異なる自己教師あり目的関数が検出性能に与える影響を調査すること。
• 分離可能性や特徴の脆さといった表現の性質が、検出性能にどのように関連するかを分析すること。

提案手法

• 事前学習済みのBERT BASEエンコーダを、マスク言語モデル（MLM）、因果的言語モデル（CLM）、対照的学習（SimCSE）の3つの自己教師あり目的関数で微調整する。
• 推論時、各微調整済みモデルの交差エントロピー損失を異常スコアとして使用し、損失が大きいほど異常度が高くなるようにする。
• 意味的異常（クラス分割によって作成）と文法的異常（文のシャッフルによって作成）の2種類の異常タイプに対してAUROCを用いて性能を評価する。
• 最後の層の隠れ表現を抽出し、分離可能性（ロジスティック回帰分類の精度）と特徴の脆さ（平均L2勾配ノルム）を分析する。
• エンドツーエンドの損失ベースのスコアリングと、k-NN分類器で学習済み埋め込みを特徴として使用する手法を比較し、表現の有用性を評価する。
• 置換強度（1-gram から 4-gram のシャッフル）を変化させたアブレーションスタディを実施し、異なる目的関数の文法的攪乱に対するロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたTransformerを自己教師あり微調整し、損失を異常スコアとして用いることで、より複雑な教師あり異常検出手法を上回ることができるか？
• RQ2 自己教師あり目的関数（MLM, CLM, SimCSE）の選択が、意味的異常と文法的異常の両方の検出性能にどのように影響するか？
• RQ3 分離可能性や特徴の脆さといった表現特性が、より良い異常検出性能を予測するか？
• RQ4 学習済み埋め込みを下流分類器の特徴として使用するのと比較して、モデルの損失を直接異常スコアとして使用する方が優れているか？

主な発見

• 自己教師あり目的関数でBERTを微調整することで、既存手法と比較して意味的異常では平均で11.6%、文法的異常では22.8%のAUROC向上を達成した。
• CLM目的関数は、文法的異常難易度の上昇に対しても最も安定した性能を示し、1-gram から 4-gram のシャッフルに移行してもAUROCがわずか4%低下にとどまり、MLM や SimCSE を上回った。
• 意味的異常検出において、正常例と異常例の表現の分離可能性は、性能の強力な予測要因である。分類精度とAUROCの間には高い相関が観察された。
• 文法的異常検出においては、勾配ノルムが大きい（＝特徴がより脆い）ほど検出性能が向上し、特にCLMベースのモデルで顕著に見られた。
• エンドツーエンドの損失ベースのスコアリングは、k-NN分類器で学習済み埋め込みを特徴として使用する手法を常に上回った。
• SimCSE目的関数は最も等方的（isotropic）な表現を生成した一方、CLMは最も非等方的（anisotropic）かつ脆い特徴を生成し、文法的異常検出における優れた性能と整合的であった。