[論文レビュー] EasyNet: An Easy Network for 3D Industrial Anomaly Detection

Ruitao Chen, Guoyang Xie+5 more|arXiv (Cornell University)|Jul 26, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用数 3

ひとこと要約

EasyNetは、大規模な事前学習モデルやメモリバンクに依存しない軽量でデプロイに適した3次元産業異常検出ネットワークを提案する。マルチスケール・マルチモダリティの再構成とセグメンテーションネットワークに加え、アテンションベースの情報エントロピー融合モジュールを用いることで、MVTec 3D-ADで92.6%のI-AUROCを達成し、Tesla V100で94.55 FPSの推論速度を実現。従来手法に比べ、精度とリアルタイム効率の両面で優れた性能を発揮する。

ABSTRACT

3D anomaly detection is an emerging and vital computer vision task in industrial manufacturing (IM). Recently many advanced algorithms have been published, but most of them cannot meet the needs of IM. There are several disadvantages: i) difficult to deploy on production lines since their algorithms heavily rely on large pre-trained models; ii) hugely increase storage overhead due to overuse of memory banks; iii) the inference speed cannot be achieved in real-time. To overcome these issues, we propose an easy and deployment-friendly network (called EasyNet) without using pre-trained models and memory banks: firstly, we design a multi-scale multi-modality feature encoder-decoder to accurately reconstruct the segmentation maps of anomalous regions and encourage the interaction between RGB images and depth images; secondly, we adopt a multi-modality anomaly segmentation network to achieve a precise anomaly map; thirdly, we propose an attention-based information entropy fusion module for feature fusion during inference, making it suitable for real-time deployment. Extensive experiments show that EasyNet achieves an anomaly detection AUROC of 92.6% without using pre-trained models and memory banks. In addition, EasyNet is faster than existing methods, with a high frame rate of 94.55 FPS on a Tesla V100 GPU.

研究の動機と目的

• 産業製造（IM）環境におけるリアルタイムでデプロイ可能な3次元異常検出の重要なニーズに対応する。
• 大規模な事前学習モデルやメモリバンクに依存する従来手法の制限を克服し、リアルタイムデプロイとストレージコストの増加を防ぐ。
• RGBと深度情報を効果的に統合することで、検出精度を向上させる軽量な自己教師あり3次元異常検出フレームワークを開発する。
• 性能を損なわず高速な推論を実現し、生産ラインでの実用的利用を可能にする。

提案手法

• 非異常領域を保持するため、マルチスケール特徴を用いて入力のRGBおよび深度画像を再構成するマルチモダリティ再構成ネットワーク（MRN）を提案する。
• 両モダリティの再構成済み特徴と元の特徴を統合することで、正確な異常マップを生成するマルチモダリティセグメンテーションネットワーク（MSN）を採用する。
• 推論時に情報量の多い深度特徴を動的に選択することで、ノイズを低減し、統合効率を向上させるアテンションベースの情報エントロピー融合モジュールを導入する。
• 自己アテンション機構を用いてモダリティ選択のエントロピースコアを計算し、性能を向上させつつ速度を維持する適応的統合を実現する。
• メモリバンクや事前学習モデルを回避するネットワークアーキテクチャの設計により、低ストレージオーバーヘッドと高速な推論を確保する。
• 複数層にわたる特徴統合を最適化し、アブレーションにより2層が最適なパフォーマンスを示すことが判明した。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習モデルやメモリバンクに依存せずに、3次元異常検出モデルが高い精度を達成できるか？
• RQ2 RGBと深度特徴を効果的に統合することで、関係のないモダリティからのノイズを最小限に抑えながら、異常検出精度を向上させられるか？
• RQ3 マルチモダリティ再構成フレームワークにおける異常セグメンテーションの最適な特徴層の数は何か？
• RQ4 軽量でエンドツーエンドのネットワークが、産業生産ラインに適したリアルタイム推論速度を達成できるか？

主な発見

• EasyNetはMVTec 3D-ADベンチマークで92.6%のI-AUROC、Eyescandiesで86.9%を達成し、事前学習モデルやメモリバンクを使用しない状態で最先端の手法を上回る精度を実現した。
• Tesla V100 GPU上で94.55 FPSの高い推論速度を達成し、ASTの125%、M3DMの93,900%以上を上回った。
• アブレーションスタディにより、MSNで2層の特徴層を使用すると最良のパフォーマンスが得られ、3層にすると異常特徴の過剰除去により性能が低下することが判明した。
• アテンションベースの情報エントロピー融合モジュールにより、特にケーブルグランドやパイナップルのような柔ららかく異常を示しやすい素材の異常検出において、誤検出を低減し、情報量の多い深度特徴を的確に統合することで検出性能を向上させた。
• 自然画像と産業画像の間のドメインギャップに対しても頑健であり、多様な産業データセットで高い性能を維持した。
• 提案されたアーキテクチャは、既存の3次元-AD手法の中で最も高速であり、産業現場におけるリアルタイムデプロイに特段適している。