[論文レビュー] MemSeg: A semi-supervised method for image surface defect detection using differences and commonalities

Minghui Yang, Peng Wu+2 more|arXiv (Cornell University)|May 2, 2022

Industrial Vision Systems and Defect Detection被引用数 8

ひとこと要約

MemSeg は、正常とシミュレートされた異常サンプルの差異と、メモリバンクに格納された共通性を活用することで、産業用表面欠陊検出のためのエンド・ツー・エンドでメモリ拡張された半教師ありディープラーニングフレームワークを提案する。MVTec AD データセットにおいて、画像レベルで 99.56% の AUC、ピクセルレベルで 98.84% の AUC を達成し、最先端の性能を発揮する一方で、効率的でエンド・ツー・エンドの設計のおかげでリアルタイム推論が可能である。

ABSTRACT

Under the semi-supervised framework, we propose an end-to-end memory-based segmentation network (MemSeg) to detect surface defects on industrial products. Considering the small intra-class variance of products in the same production line, from the perspective of differences and commonalities, MemSeg introduces artificially simulated abnormal samples and memory samples to assist the learning of the network. In the training phase, MemSeg explicitly learns the potential differences between normal and simulated abnormal images to obtain a robust classification hyperplane. At the same time, inspired by the mechanism of human memory, MemSeg uses a memory pool to store the general patterns of normal samples. By comparing the similarities and differences between input samples and memory samples in the memory pool to give effective guesses about abnormal regions; In the inference phase, MemSeg directly determines the abnormal regions of the input image in an end-to-end manner. Through experimental validation, MemSeg achieves the state-of-the-art (SOTA) performance on MVTec AD datasets with AUC scores of 99.56% and 98.84% at the image-level and pixel-level, respectively. In addition, MemSeg also has a significant advantage in inference speed benefiting from the end-to-end and straightforward network structure, which better meets the real-time requirement in industrial scenarios.

研究の動機と目的

• 産業用表面欠陊検出におけるアノテート済み欠陊データの不足という課題に対処するため、半教師あり学習を活用すること。
• 正常とシミュレートされた異常サンプルの差異を明示的にモデル化することで、検出のロバスト性を向上させること。
• メモリバンクを用いて正常サンプルの一般化パターンを格納・比較することで、特徴表現を強化すること。
• 産業用途への導入に適した効率的で軽量なネットワークアーキテクチャを採用することで、エンド・ツー・エンド設計によりリアルタイム推論を実現すること。

提案手法

• 訓練中に人工的にシミュレートされた異常サンプルを導入し、正常パターンと欠陊パターンの判別的差異を明示的に学習する。
• 正常サンプルの特徴表現を格納するメモリバンクを採用し、パターン認識における人間の記憶を模倣する。
• 推論時、入力特徴と格納済みメモリ特徴を比較し、類似度が低く、不一致度が高いために異常を検出する。
• 正常と異常特徴の分離を促進するコントラスト損失を用いて、ネットワークをエンド・ツー・エンドで訓練する。
• 安定的かつ代表的な正常パターンを維持するため、モーメンタムベースの符号化を用いてメモリバンクを動的に更新する。
• 効率性を最適化したアーキテクチャを設計することで、産業用途に不可欠な高速推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 少量のアノテート済み欠陊サンプルしか利用できない状況でも、半教師ありフレームワークが表面欠陊を効果的に検出できるか？
• RQ2 正常とシミュレートされた異常サンプルの差異をどのように活用すれば、欠陊検出におけるモデルの一般化性能を向上させられるか？
• RQ3 正常パターンのメモリバンクが、異常局所化および検出性能にどの程度寄与するか？
• RQ4 エンド・ツー・エンドでメモリ拡張されたネットワークは、産業現場において高い精度とリアルタイム推論を両立できるか？

主な発見

• MemSeg は MVTec AD ベンチマークにおいて、画像レベルで最先端の 99.56% の AUC を達成した。
• ピクセルレベルで 98.84% の AUC を達成し、欠陊領域の高精度な局所化を示した。
• 検出精度と推論速度の両面で、既存の半教師ありアプローチを顕著に上回った。
• エンド・ツー・エンドの設計によりリアルタイム推論が可能となり、産業用途への導入に適している。
• メモリバンクの活用により、一般化された正常パターンを捉え、比較することで検出のロバスト性が向上した。
• 限られたアノテート済み欠陊データでも高い性能を維持したため、リソースが限られた環境下でも有効性が裏付けられた。