[論文レビュー] Defect Transformer: An Efficient Hybrid Transformer Architecture for Surface Defect Detection

Junpu Wang, Guili Xu+3 more|arXiv (Cornell University)|Jul 17, 2022

Industrial Vision Systems and Defect Detection被引用数 11

ひとこと要約

本稿では、表面欠陥検出における長距離依存関係をモデル化するために、局所的特徴抽出に畳み込みニューラルネットワーク（CNN）を組み合わせ、新規のマルチスケール自己注意メカニズムを備えたハイブリッドCNN-Transformerアーキテクチャ「Defect Transformer（DefT）」を提案する。この手法は、3つのベンチマークデータセットにおいて、純粋なCNNおよびTransformerベースのモデルを上回る最先端の性能を達成し、精度、学習効率、データ効率の向上を実現した。

ABSTRACT

Surface defect detection is an extremely crucial step to ensure the quality of industrial products. Nowadays, convolutional neural networks (CNNs) based on encoder-decoder architecture have achieved tremendous success in various defect detection tasks. However, due to the intrinsic locality of convolution, they commonly exhibit a limitation in explicitly modeling long-range interactions, critical for pixel-wise defect detection in complex cases, e.g., cluttered background and illegible pseudo-defects. Recent transformers are especially skilled at learning global image dependencies but with limited local structural information necessary for detailed defect location. To overcome the above limitations, we propose an efficient hybrid transformer architecture, termed Defect Transformer (DefT), for surface defect detection, which incorporates CNN and transformer into a unified model to capture local and non-local relationships collaboratively. Specifically, in the encoder module, a convolutional stem block is firstly adopted to retain more detailed spatial information. Then, the patch aggregation blocks are used to generate multi-scale representation with four hierarchies, each of them is followed by a series of DefT blocks, which respectively include a locally position-aware block for local position encoding, a lightweight multi-pooling self-attention to model multi-scale global contextual relationships with good computational efficiency, and a convolutional feed-forward network for feature transformation and further location information learning. Finally, a simple but effective decoder module is proposed to gradually recover spatial details from the skip connections in the encoder. Extensive experiments on three datasets demonstrate the superiority and efficiency of our method compared with other CNN- and transformer-based networks.

研究の動機と目的

• 表面欠陥検出において、CNNが長距離依存関係をモデル化する点での限界と、Transformerが微細な局所的詳細を捉える点での限界を解消すること。
• CNNが持つ局所的な空間的インダクティブバイアスと、Transformerが持つグローバルコンテキストモデリングを効果的に統合する統一アーキテクチャの開発。
• 複雑な産業用画像（背景がごちゃついたものや偽欠际を含むもの）における検出性能の向上。
• 畳み込み部の明示的なインダクティブバイアスの埋め込みによって、学習およびデータ効率の向上。

提案手法

• エンコーダー入力部に畳み込みスタムブロックを用い、高分解能の空間的詳細を保持する。
• パッチ集約ブロックにより、4段階の階層的レベルでマルチスケール特徴を生成する。
• 各レベルの後には、局所的位置に敏感なブロック（LPB）を備えたDefTブロックが続く。
• 軽量なマルチプールリング自己注意（LMPS）機構により、計算コストを抑えてマルチスケールのグローバルコンテキストを捉える。
• 標準的なFFNに代えて畳み込み型フィードフォワードネットワーク（CFFN）を採用し、特徴変換と位置学習を強化する。
• スキップ接続を備えたシンプルなデコーダーにより、階層的特徴から密度分割マップを再構築する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-Transformerアーキテクチャは、純粋なCNNおよびTransformerよりも表面欠陥検出で優れた性能を発揮できるか？
• RQ2 畳み込み演算による明示的な局所的位置エンコーディングは、絶対的または相対的位置エンコーディングと比較して、性能向上にどのように寄与するか？
• RQ3 CNNのインダクティブバイアスを組み込むことで、欠陥検出における学習およびデータ効率がどの程度向上するか？
• RQ4 各コンポーネント（LPB、LMPS、CFFN）が全体の検出性能に果たす寄与度はどの程度か？

主な発見

• 標準的なFFNに提案されたCFFNに置き換えることで、ベースライン比でMAEが5.5%相対的に向上した。
• 局所的位置に敏感なブロック（LPB）の追加により、計算コストをほとんど増加させずにMAEが5.2%改善された。
• 軽量なマルチプールリング自己注意（LMPS）機構により、計算オーバーヘッドを低減しながら性能が向上し、MAEは0.0136を達成した。
• DefTは学習効率およびデータ効率の両面でSwin-Unetを上回った：60エポックでF1スコア82.53%を達成し、700エポック学習したSwin-Unetを上回った。
• DefTはデータの30%での学習でも、ImageNetで事前学習されたSwin-Unet*と同等の性能を達成した。これは、強力なデータ効率を示している。
• 特別な位置エンコーディングを備えないモデル（N/A）でも、競争力のある性能（97.12%の精度）を示した。これは、畳み込み部が暗黙的かつ空間的インダクティブバイアスを提供していることを確認している。