[論文レビュー] Reconstruction Student with Attention for Student-Teacher Pyramid Matching

Shinji Yamada, Kazuhiro Hotta|arXiv (Cornell University)|Nov 30, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用数 16

ひとこと要約

本稿では、自己注意メカニズムを備えた再構成ブランチを導入することで、自己教師型異常検出を向上させる二重の学生・教師ネットワークフレームワークを提案する。特徴のピラミッドマッチング用と、正常な特徴を注意メカニズムを用いて再構成するための別々の学生・教師ペアを訓練することで、異常局所化と検出精度が向上し、ピクセル単位および画像単位のベンチマークにおいて、元のSTPMよりも高いAUCスコアを達成した。

ABSTRACT

Anomaly detection and localization are important problems in computer vision. Recently, Convolutional Neural Network (CNN) has been used for visual inspection. In particular, the scarcity of anomalous samples increases the difficulty of this task, and unsupervised leaning based methods are attracting attention. We focus on Student-Teacher Feature Pyramid Matching (STPM) which can be trained from only normal images with small number of epochs. Here we proposed a powerful method which compensates for the shortcomings of STPM. Proposed method consists of two students and two teachers that a pair of student-teacher network is the same as STPM. The other student-teacher network has a role to reconstruct the features of normal products. By reconstructing the features of normal products from an abnormal image, it is possible to detect abnormalities with higher accuracy by taking the difference between them. The new student-teacher network uses attention modules and different teacher network from the original STPM. Attention mechanism acts to successfully reconstruct the normal regions in an input image. Different teacher network prevents looking at the same regions as the original STPM. Six anomaly maps obtained from the two student-teacher networks are used to calculate the final anomaly map. Student-teacher network for reconstructing features improved AUC scores for pixel level and image level in comparison with the original STPM.

研究の動機と目的

• 限られたまたは異常データを含まない訓練データでの産業用画像における異常検出の課題に対処すること。
• 特徴再構成の忠実度に課題を抱える学生・教師特徴ピラミッドマッチング（STPM）手法の性能を向上させること。
• 注意メカニズムを備えた専用の再構成ブランチを導入することで、異常局所化と検出精度を向上させること。
• 元のSTPMとは異なり、再構成ブランチで別の教師ネットワークを用いることで、特徴学習の冗長性を低減すること。
• 二つの異なる学生・教師ネットワークから得られる複数の異常マップを統合し、より強固な最終的な異常予測を実現すること。

提案手法

• 本手法は、標準的な特徴ピラミッドマッチング（STPM）用と、正常画像からの特徴再構成用の二つの並列した学生・教師ネットワークを採用する。
• 再構成ブランチでは、学生ネットワークが入力画像から特徴を予測し、別個の教師ネットワークが再構成プロセスを指導する。
• 注意メカニズムが再構成ブランチに統合され、正常領域に注目することで、特徴再構成の品質が向上する。
• 注意モジュールは、空間的に一貫性があり意味的に意味のある領域に注目するのを助け、再構成忠実度が向上する。
• 二つのネットワーク間の特徴を比較することで、STPMブランチから3つ、再構成ブランチから3つの合計6つの異常マップが生成される。
• 最終的な異常マップは、6つの個別の異常マップを統合することで計算され、全体の検出のロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 注意メカニズムを備えた専用の再構成ブランチは、自己教師設定における異常検出性能を向上させることができるか？
• RQ2 再構成ブランチで別の教師ネットワークを用いることで、特徴の冗長性を低減し、一般化性能を向上させることができるか？
• RQ3 注意に基づく特徴再構成は、標準的な特徴マッチングと比較して、異常検出においてどのように優れているか？
• RQ4 異なる学生・教師設定から得られる複数の異常マップを統合することで、検出および局所化精度が向上するか？
• RQ5 提案手法は、ピクセル単位および画像単位の異常検出において、元のSTPMに比べてどの程度AUCスコアで優れているか？

主な発見

• 提案手法は、ピクセル単位および画像単位の異常検出ベンチマークにおいて、元のSTPMよりも高いAUCスコアを達成した。
• 注意メカニズムは、異常画像の正常領域における特徴再構成の品質を顕著に向上させた。
• 再構成ブランチで別の教師ネットワークを用いることで、特徴の冗長性が低減され、モデルの一般化性能が向上した。
• 二つの異なる学生・教師ネットワークから得られる6つの異常マップの統合により、より強固で正確な異常局所化が実現した。
• 再構成ベースのブランチは、微細または複雑な異常においても、異常検出に有意義な貢献をした。
• 本手法は、訓練時に正常画像のみを用いることで強く性能を発揮し、低データ異常検出シナリオにおける有効性を確認した。