[論文レビュー] Visual Anomaly Detection Via Partition Memory Bank Module and Error Estimation

Peng Xing, Zechao Li|arXiv (Cornell University)|Sep 26, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、パーティションメモリバンク（PMB）モジュールとヒストグラム誤差推定モジュールを用いた、未教師あり視覚的異常検出の新規手法を提案する。PMBは、特徴マップを空間的パーティションに分割し、独自のパーティションベースのクエリ生成手法を通じて意味的整合性を保った正常特徴を学習・保存する。一方、誤差推定モジュールは累積再構成誤差を適応的に低減し、標準ベンチマーク上での異常検出および局在化性能を顕著に向上させる。

ABSTRACT

Reconstruction method based on the memory module for visual anomaly detection attempts to narrow the reconstruction error for normal samples while enlarging it for anomalous samples. Unfortunately, the existing memory module is not fully applicable to the anomaly detection task, and the reconstruction error of the anomaly samples remains small. Towards this end, this work proposes a new unsupervised visual anomaly detection method to jointly learn effective normal features and eliminate unfavorable reconstruction errors. Specifically, a novel Partition Memory Bank (PMB) module is proposed to effectively learn and store detailed features with semantic integrity of normal samples. It develops a new partition mechanism and a unique query generation method to preserve the context information and then improves the learning ability of the memory module. The proposed PMB and the skip connection are alternatively explored to make the reconstruction of abnormal samples worse. To obtain more precise anomaly localization results and solve the problem of cumulative reconstruction error, a novel Histogram Error Estimation module is proposed to adaptively eliminate the unfavorable errors by the histogram of the difference image. It improves the anomaly localization performance without increasing the cost. To evaluate the effectiveness of the proposed method for anomaly detection and localization, extensive experiments are conducted on three widely-used anomaly detection datasets. The encouraging performance of the proposed method compared to the recent approaches based on the memory module demonstrates its superiority.

研究の動機と目的

• 既存のメモリモジュールでは、論理的クエリ再編成によって意味的整合性が損なわれるため、異常サンプルでさえも低い再構成誤差を達成してしまうという限界に対処する。
• PMBモジュールにおける新規なパーティション機構およびクエリ生成戦略により、空間的およびチャネルワイドの文脈を保持することで、正常特徴の学習を向上させる。
• 自己符号化器ベースのモデルにおける累積再構成誤差を低減し、とくに微細または小領域の異常において正確な異常局在化を妨げる要因を軽減する。
• 追加のパラメータを追加せずに、ヒストグラムベースの誤差推定機構を導入することで、異常検出および局在化性能を向上させる。
• スイープ接続との統合を最適化し、高レベルの意味的整合性と詳細な特徴再構成のバランスをとる。

提案手法

• 特徴マップを空間的パーティションに分割し、元の特徴マップからの意味的および文脈的情報を保持するクエリを生成する、パーティションメモリバンク（PMB）モジュールを導入する。
• チャネル間での論理的再編成を回避する独自のクエリ生成手法を設計し、メモリモジュールが抽象化された論理的パターンではなく、実際の正常特徴を学習することを保証する。
• 再構成プロセスにおいてPMBモジュールとスイープ接続を交互に使用することで、異常特徴が保存された正常特徴に依存して再構成がうまくいかないよう強制する。
• 正常領域における再構成誤差差分の分布を分析するヒストグラム誤差推定モジュールを提案し、不適切な誤差を適応的に低減可能にする。
• 入力と再構成特徴の差分画像のヒストグラムを用いて、誤差重みを動的に調整することで、追加パラメータなしに局在化精度を向上させる。
• 検出性能と局在化性能のバランスを最適化するため、パーティション数（k）、PMBレイヤー数（L）、イテレーション回数（p）などのハイパーパramータを最適化する。

Figure 1: Illustration of the query generation methods for different memory modules. Figures (1) [ 10 ] and (2) [ 11 ] represent the logical query generated from the same position in the feature map, with different channels. Figure (3) represents the proposed query. It preserves the critical feature

実験結果

リサーチクエスチョン

• RQ1 空間的パーティション化による正常特徴の意味的整合性の保持が、正常サンプルの再構成忠実性を向上させるとともに、異常サンプルの誤差を増大させるか？
• RQ2 従来のメモリモジュールと比較して、提案されたPMBモジュールは特徴表現品質および異常検出能力においてどのように差をつけるか？
• RQ3 ヒストグラム誤差推定モジュールは、自己符号化器ベースの異常検出において、累積再構成誤差をどの程度低減し、局在化精度を向上させるか？
• RQ4 検出性能と局在化性能のバランスを最適化するためのPMBモジュールの最適な設定（例：パーティション数k、レイヤー数L、イテレーション回数p）は何か？
• RQ5 PMBとスイープ接続を併用することで、多様なデータセットにわたり、再構成品質および異常識別性能が向上するか、その堅牢性は保証されるか？

主な発見

• 提案手法は、MVTec AD、MNIST、Retinal-OCTの3つのベンチマークデータセットで最先端の性能を達成し、MNISTでは98.1% AUC、Retinal-OCTでは98.0% AUCを達成した。
• MVTec ADデータセットでは、k=(4,4,4)の設定で97.6% AUCを達成し、特にテクスチャや微細な異常において優れた検出性能を示した。
• PMBとスイープ接続を併用することで、スイープ接続なしのベースラインと比較して検出性能が6%向上した。特にテクスチャ豊富な画像で顕著な効果を示した。
• kの値を小さく（例：k=(2,2,2)）することで、誤差増幅が強くなるため、より良い局在化結果が得られる。一方、kを大きくすることで、より詳細な特徴学習が可能になり、検出性能が向上する。
• ヒストグラム誤差推定モジュールは累積再構成誤差を効果的に低減し、微細な異常を含む正常領域でも高精度な局在化を可能にした。
• 特徴学習と誤差補正の共同最適化により、最近のメモリベースの手法を上回る性能を発揮し、多様なデータ分布および異常タイプにわたり有効であることが実証された。

Figure 2: The differences in query generation method and memory item between the proposed method and the traditional method. ”ERROR” represents reconstruction error. The memory modules are both learned from the reconstruction task of category A to category A using reconstruction loss update. However