[論文レビュー] Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity

Takashi Matsubara, Kenta Hama+2 more|arXiv (Cornell University)|Jul 16, 2018

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文は、深層生成モデル（DGM）における正則化を施さない異常スコアを提案し、複雑な形状の正常サンプルが内在的変動によって誤って異常と判定されるという問題を解消することで、異種の複雑さを有するデータセットにおける異常検出性能を向上させる。推論時に正則化項を除去することで、より頑健なスコアを生成し、真の異常と複雑だが正常な構造とをより明確に区別できる。実世界の製造業界データセットにおいて、標準的なDGMや従来の手法を著しく上回る性能を示した。

ABSTRACT

Accurate and automated detection of anomalous samples in a natural image dataset can be accomplished with a probabilistic model for end-to-end modeling of images. Such images have heterogeneous complexity, however, and a probabilistic model overlooks simply shaped objects with small anomalies. This is because the probabilistic model assigns undesirably lower likelihoods to complexly shaped objects that are nevertheless consistent with set standards. To overcome this difficulty, we propose an unregularized score for deep generative models (DGMs), which are generative models leveraging deep neural networks. We found that the regularization terms of the DGMs considerably influence the anomaly score depending on the complexity of the samples. By removing these terms, we obtain an unregularized score, which we evaluated on a toy dataset and real-world manufacturing datasets. Empirical results demonstrate that the unregularized score is robust to the inherent complexity of samples and can be used to better detect anomalies.

研究の動機と目的

• ねじの穴や模様のある組織など、高い構造的複雑性を示す正常サンプルが、深層生成モデルで誤って異常と判定されるという、偽陽性検出の問題に対処すること。
• DGMにおける正則化項が、サンプルの複雑さに応じて異常スコアを歪めることで、複雑な正常サンプルが異常と誤分類される理由を解明すること。
• 変分オートエンコーダーの目的関数に基づく正則化を除去した、正則化を施さないスコアの提案と評価を行い、内在的なサンプルの複雑さに対する耐性を高めること。
• 提案手法を合成データおよび実世界の製造業界データセットで検証し、標準的なDGMや従来の異常検出手法を上回る優れた性能を示すこと。

提案手法

• 本手法は、標準的なVAEの目的関数を用いるが、推論時にKLダイバージェンス正則化項を省略し、正則化を施さない異常スコアを生成する。
• 異常スコアは、正規化された二乗距離 $ M(x) = \|x - \mu_x\|^2 / \sigma_x^2 $ として定義され、入力画像パッチの複雑さに対して不変である。
• 正則化を施さないスコアは、VAEエンコーダーから得られる再構成平均 $ \mu_x $ と標準偏差 $ \sigma_x $ を用いて計算され、複雑さに敏感なKL項に依存しない。
• 最終的な異常スコアとして、VAEの再構成誤差と正規化された距離を用い、複雑な領域と単純な領域の間で一貫性を保つために正規化を行う。
• 本手法は、正則化付きの標準VAE、ガウス・ミックスチャネル・モデル（GMM）、および隔離フォレストと比較され、おもちゃデータセットおよび実際の製造業界データセットで評価された。
• スコアはパッチ単位で計算され、$ 4 \times 4 $ のストライドを用い、画像内の異常を局所化する。スコアは[0,1]に正規化され、可視化および評価に用いられた。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルにおける正則化項が、異種の複雑さを有するサンプルにおける異常検出性能に与える影響は何か？
• RQ2 推論段階で正則化項を除去することで、複雑な形状の正常サンプルに対する異常検出の頑健性が向上するか？
• RQ3 正則化を施さないスコア $ M(x) $ は、複雑な模様や構造を有する実世界の製造業界データセットにおいて、標準的なDGMベースの異常スコアを上回るか？
• RQ4 本手法は、ねじの溝や模様のある表面のような、正常だが複雑な領域における偽陽性をどの程度低減できるか？

主な発見

• 正則化を施さないスコア $ M(x) $ を用いたVAEは、ねじデータセットにおいて標準的な正則化付きVAEを著しく上回り、ROC-AUCスコアが高かった。
• 正則化を施さないスコア $ M(x) $ は、ねじの溝や曲面などの正常で複雑な領域でも一貫して低い異常スコアを示したが、標準VAEは変動性のため高いスコアを割り当てていた。
• 隔離フォレストはねじデータセットを効果的にモデル化できず、複雑な模様の空間的・構造的パターンを捉えられなかったため、性能が低かった。
• 正則化を施さないスコアを用いたGMMは、正則化付きの対応する手法に比べて中程度の改善を示したが、空間的シフトや複雑な境界には依然として弱く、VAEベースの手法とは対照的であった。
• 二乗正規化距離 $ M(x) $ は、$ \sigma_x $ で正規化されているため、画像パッチの複雑さに対して頑健であった。$ \sigma_x $ は局所的な変動を内蔵的に反映しているため、異常検出においてより信頼性が高かった。
• 可視化結果から、正則化を施さないスコアは、吹き抜けなどの異常を正しく局所化した一方で、ねじの溝などの正常だが複雑な領域では偽陽性を回避していたことが確認された。