[論文レビュー] Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection

Choubo Ding, Guansong Pang+1 more|arXiv (Cornell University)|Mar 28, 2022

Anomaly Detection Techniques and Applications被引用数 11

ひとこと要約

本稿では、既知の異常（グレイサウンド）と未知の異常（ブラックサウンド）の両方を検出できる、新しいオープンセット教師あり異常検出モデルDRAを提案する。DRAは、学習済みの異常、データ拡張から得られる擬似異常、および潜在空間の残差異常の分離表現を学習する。これらの3種類の異常タイプに対してマルチヘッド学習を活用することで、9つの実世界データセットにおいて最先端の性能を達成し、特に限られたまたは全く存在しない学習済み異常例がある困難な状況でも、従来の教師あり・教師なし手法を顕著に上回る性能を発揮する。

ABSTRACT

Despite most existing anomaly detection studies assume the availability of normal training samples only, a few labeled anomaly examples are often available in many real-world applications, such as defect samples identified during random quality inspection, lesion images confirmed by radiologists in daily medical screening, etc. These anomaly examples provide valuable knowledge about the application-specific abnormality, enabling significantly improved detection of similar anomalies in some recent models. However, those anomalies seen during training often do not illustrate every possible class of anomaly, rendering these models ineffective in generalizing to unseen anomaly classes. This paper tackles open-set supervised anomaly detection, in which we learn detection models using the anomaly examples with the objective to detect both seen anomalies (`gray swans') and unseen anomalies (`black swans'). We propose a novel approach that learns disentangled representations of abnormalities illustrated by seen anomalies, pseudo anomalies, and latent residual anomalies (i.e., samples that have unusual residuals compared to the normal data in a latent space), with the last two abnormalities designed to detect unseen anomalies. Extensive experiments on nine real-world anomaly detection datasets show superior performance of our model in detecting seen and unseen anomalies under diverse settings. Code and data are available at: https://github.com/choubo/DRA.

研究の動機と目的

• 既存の教師あり異常検出モデルが学習済みの異常クラスに過学習し、未知の異常クラスへの一般化に失敗するという限界を是正すること。
• 実世界の応用において「グレイサウンド」（既知で過去に観測済みの異常）と「ブラックサウンド」（希少で過去に未知の異常）の両方を効果的に検出できること。
• 限られたラベル付き異常例に加え、データ拡張と潜在空間の残差解析を活用して、未知の異常パターンへの一般化を向上させること。
• ラベル付き異常データに依存せず、多様な異常表現を同時に学習できる統合フレームワークの構築

提案手法

• DRAは、3種類の異常タイプ（学習済み異常、擬似異常、潜在残差異常）の分離表現を学習するための3つの専用ヘッドを備えたマルチヘッドニューラルネットワークアーキテクチャを採用する。
• 擬似異常は、CutPaste-Scar や CutMix などのデータ拡張技術を用いて生成され、現実的だが合成された異常パターンをシミュレートする。
• 潜在残差異常は、学習済み潜在空間における再構成残差を測定することで特定され、高い残差値は未知の異常を示唆する。
• モデルは、3つのヘッド全体にわたり、正常と異常表現の特徴を分離するよう促すコントラスト学習目的関数を用いる。
• リファレンスベースの残差学習メカニズムにより、N_r 個の正常画像をサンプリングして潜在残差を計算する。アブレーションスタディでは、N_r = 5 が最適であると判明している。
• 最終的な異常スコアは、3つのヘッドの予測の重み付き融合であり、多様な異常タイプにわたる頑健な検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習済み異常のラベル付き例がわずかにしか存在しない状況で、教師あり異常検出モデルが未知の異常クラスに効果的に一般化できるか。
• RQ2 学習済み異常、擬似異常、潜在残差異常の3種類の異常表現が、検出の一般化性能を向上させるためにどのように補い合うか。
• RQ3 未知の異常の検出を向上させるために、バイアスを導入せずに最適な擬似異常の生成戦略は何か。
• RQ4 潜在残差計算に使用するリファレンスセットのサイズが、未知異常の検出性能に与える影響は何か。
• RQ5 分離表現学習が、異常データが限られているか全く存在しない実世界データセットにおいて、性能をどの程度向上できるか。

主な発見

• DRAは9つの実世界の異常検出データセットで最先端の性能を達成し、5つのSOTA教師あり・教師なしモデルを上回っている。特に、未知異常の検出において顕著な優位性を示している。
• MVTec ADデータセットでは、'Leather'セットで平均AUC 0.935 ± 0.013、'Tile'セットで0.922 ± 0.012を達成し、未知異常の検出においてKDAD（教師なし）やDevNet（教師あり）を顕著に上回った。
• 訓練用異常例が1つしかない状況でも、DRAは強固な性能を維持し、'Thread'データセットで平均AUC 0.850 ± 0.070を記録した。これは、低ショット設定においても頑健であることを示している。
• 非医療分野のデータセットでは、CutPaste-Scar などのデータ拡張による擬似異常の方が、外部データソース（例：LAG）よりも優れた安定性と結果をもたらした。一方、医療分野のデータセット（例：Hyper-Kvasir）では、外部データ（例：LAG）が優れた性能を示した。
• 潜在残差学習の最適リファレンスサイズは N_r = 5 であり、10に増やしても性能が一貫して向上せず、N_r = 1 でも効果的な検出が可能であることが判明した。
• 感度分析により、擬似異常ソースやリファレンスサイズの変動に対してもモデルが頑健であることが確認され、多様な設定で一貫した性能向上が得られた。