[論文レビュー] Asymmetric Student-Teacher Networks for Industrial Anomaly Detection

Marco Rudolph, Tom Wehrbein+2 more|arXiv (Cornell University)|Oct 14, 2022

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

この論文は、正規化フローを双方向写像の教師として、従来の順方向ネットワークを生徒として用いる非対称な生徒-教師ネットワーク（AST）を提案する。アーキテクチャの非対称性を強制することにより、異常入力に対して大きな出力差を生じさせ、対称的な生徒-教師ネットワークや尤度ベースの手法を凌駕し、MVTec 3D-ADで93.7%、RGBデータで88.0%のSOTA水準のAUROCスコアを達成した。

ABSTRACT

Industrial defect detection is commonly addressed with anomaly detection (AD) methods where no or only incomplete data of potentially occurring defects is available. This work discovers previously unknown problems of student-teacher approaches for AD and proposes a solution, where two neural networks are trained to produce the same output for the defect-free training examples. The core assumption of student-teacher networks is that the distance between the outputs of both networks is larger for anomalies since they are absent in training. However, previous methods suffer from the similarity of student and teacher architecture, such that the distance is undesirably small for anomalies. For this reason, we propose asymmetric student-teacher networks (AST). We train a normalizing flow for density estimation as a teacher and a conventional feed-forward network as a student to trigger large distances for anomalies: The bijectivity of the normalizing flow enforces a divergence of teacher outputs for anomalies compared to normal data. Outside the training distribution the student cannot imitate this divergence due to its fundamentally different architecture. Our AST network compensates for wrongly estimated likelihoods by a normalizing flow, which was alternatively used for anomaly detection in previous work. We show that our method produces state-of-the-art results on the two currently most relevant defect detection datasets MVTec AD and MVTec 3D-AD regarding image-level anomaly detection on RGB and 3D data.

研究の動機と目的

• 対称的な生徒-教師ネットワークが、類似したアーキテクチャのための意図しない一般化によって異常検出に失敗する理由を解決すること。
• 正規化フローに基づく尤度推定の限界を克服すること。尤度が誤って推定され、誤った異常と誤検出されることがある。
• 出力差を拡大することで、分布外（異常）入力に対してアーキテクチャの非対称性を活用し、異常検出を向上させること。
• 2D RGBおよび3D深度データ、ならびにそれらの統合を含め、産業分野の欠陥検出において有効性を示すこと。
• 生徒-教師間の距離が、正規化フロー教師の尤度単体よりもより頑健な異常スコアであることを示すこと。

提案手法

• 教師は、正規化フローであり、最大尤度推定により正常特徴の分布をモデル化するために訓練され、双方向写像性と分布シフトへの感受性を保証する。
• 生徒は、通常の順方向ニューラルネットワークであり、正常な訓練データにおける教師の出力を再現するように訓練される。
• 異常入力では、生徒がアーキテクチャの不一致により分布外入力に一般化できないため、教師と生徒の出力間の距離が著しく大きくなる。
• 訓練および推論時に前景マスクを用いることで、背景の干渉を低減し、関連する物体領域への注目を高める。
• 3Dデータに対して位置符号化を適用することで、空間認識能力が向上し、検出性能が向上する。
• 最終的な異常スコアは、生徒と教師の出力間のL2距離であり、教師の尤度単体よりもより頑健である。

実験結果

リサーチクエスチョン

• RQ1 対称的な生徒-教師ネットワークは、設計上は異常検出に適しているが、なぜ効果的に異常を検出できないのか？
• RQ2 生徒と教師の間でアーキテクチャの非対称性を導入することで、異常検出性能が向上するか？
• RQ3 正規化フロー教師の尤度単体よりも、生徒-教師距離がより信頼性の高い異常スコアであるか？
• RQ4 RGBと3Dデータを統合することで、提案されたASTフレームワークにおける異常検出性能にどのような影響を与えるか？
• RQ5 前景マスクおよび位置符号化は、3D欠陥検出における検出性能にどのような影響を与えるか？

主な発見

• 提案されたAST手法は、MVTec 3D-ADで93.7%、RGBデータで88.0%のAUROCを達成し、すべてのベースラインを上回るSOTA性能を発揮した。
• より深い生徒ネットワークを用いることで性能が向上するが、最良のトレードオフは生徒に4つの残差ブロックを用いた場合に達成された。
• 前景マスクは3Dデータで1.4%の性能向上をもたらし、モデルが関連する物体領域に集中できるようにした。
• 位置符号化は3Dデータで1.4%の性能向上をもたらし、計算コストの増加は最小限に抑えられた。
• 生徒-教師距離は、正規化フローの尤度単体よりも頑健であり、尤度の誤推定を補償できる。
• 位置符号化とマスクを組み合わせたASTフレームワークは、3D+RGBデータで93.8%のAUROCを達成し、マルチモodalな一般化性能が優れていることが示された。