[論文レビュー] CAINNFlow: Convolutional block Attention modules and Invertible Neural Networks Flow for anomaly detection and localization tasks

Ruiqing Yan, Fan Zhang+8 more|arXiv (Cornell University)|Jun 4, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

CAINNFlowは、畳み込みブロック注意モジュール（CBAM）を可逆正規化フローに統合するプラグインアーキテクチャを提案する。これにより、教師なし異常検出および局所化において空間的構造を保持する。標準的な多層パーセプトロンをCBAMで強化されたスタックド3×3畳み込みに置き換えることで、CNNおよびトランスフォーマーベースの両方でMVTec ADデータセットにおいてピクセル単位のAUCが98.64%に達する。

ABSTRACT

Detection of object anomalies is crucial in industrial processes, but unsupervised anomaly detection and localization is particularly important due to the difficulty of obtaining a large number of defective samples and the unpredictable types of anomalies in real life. Among the existing unsupervised anomaly detection and localization methods, the NF-based scheme has achieved better results. However, the two subnets (complex functions) $s_{i}(u_{i})$ and $t_{i}(u_{i})$ in NF are usually multilayer perceptrons, which need to squeeze the input visual features from 2D flattening to 1D, destroying the spatial location relationship in the feature map and losing the spatial structure information. In order to retain and effectively extract spatial structure information, we design in this study a complex function model with alternating CBAM embedded in a stacked $3 imes3$ full convolution, which is able to retain and effectively extract spatial structure information in the normalized flow model. Extensive experimental results on the MVTec AD dataset show that CAINNFlow achieves advanced levels of accuracy and inference efficiency based on CNN and Transformer backbone networks as feature extractors, and CAINNFlow achieves a pixel-level AUC of $98.64\%$ for anomaly detection in MVTec AD.

研究の動機と目的

• 2次元特徴マップを1次元ベクトルに平坦化することで、正規化フローが空間的構造を破壊するという制限を解消すること。
• 特徴表現における空間的関係を保持することで、教師なし異常検出および局所化を向上させること。
• 任意のバックボーンネットワーク（CNNまたはトランスフォーマー）と互換性があるプラグインモジュールを構築し、柔軟な展開を可能にすること。
• 顕著な空間的およびチャネルワイド特徴に注目する注意メカニズムを活用して、特徴表現学習を強化すること。
• MVTec ADベンチマークにおいて、精度と推論効率の両面で最先端のパフォーマンスを達成すること。

提案手法

• 2次元空間的構造を維持するため、スタックド3×3完全畳み込み層を用いて複雑な関数を設計する。
• フローアーキテクチャ内にCBAMモジュールを統合し、重要な空間的およびチャネルワイド特徴を動的に強調する。
• 正規化フロー内の標準的な多層パーセプトロンを、CBAMで強化された畳み込みブロックに置き換えることで、空間的情報を保持する。
• 可逆ニューラルネットワーク（INN）を用いて、正常サンプルの特徴を標準ガウス分布に双曲的変換する。
• 双方向フローを適用：前方伝搬は特徴を正規分布にマップし、逆方向伝搬により再構築と異常可視化が可能になる。
• 正常画像のみを用いてエンドツーエンドでモデルを学習し、分布のずれを尤度推定によって検出することで異常を特定する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローが分布変換を実行する際、2次元特徴マップの空間的構造を保持できるか？
• RQ2 フローの複雑な関数にCBAMを統合することで、標準的なMLPと比較して異常検出性能がどのように向上するか？
• RQ3 性能と効率のバランスを考慮した場合、CACモジュールの最適な構成（例：ステップ数）は何か？
• RQ4 ResNet18のような軽量バックボーンを用いても、CAINNFlowは最先端の結果を達成できるか？
• RQ5 CAINNFlowの逆過程は、ノイズ注入と再構築によって、どれほど効果的に異常を可視化および局所化できるか？

主な発見

• CAINNFlowはMVTec ADデータセットでピクセル単位AUCが98.64%に達し、異常検出において最先端のパフォーマンスを示した。
• 12の全評価指標において、CACモジュール構造がCAおよびACモジュールを上回り、空間的特徴抽出における有効性を確認した。
• CACモジュールのステップ数を2に設定した場合が最適で、さらに増加させると性能が低下した。
• ResNet18をバックボーンとして用いても高い精度を達成したため、軽量モデルとの高い効率性と互換性があることが示された。
• 定性的な結果から、逆過程が正常な特徴を効果的に再構築し、ノイズを注入した際に異常を明確に強調することが確認された。
• 特徴可視化により、前方伝搬では正常な特徴が均等に分布する標準ガウス分布に変換される一方で、異常入力は顕著にずれることが確認された。