[논문 리뷰] Defect Transformer: An Efficient Hybrid Transformer Architecture for Surface Defect Detection

Junpu Wang, Guili Xu외 3명|arXiv (Cornell University)|2022. 07. 17.

Industrial Vision Systems and Defect Detection인용 수 11

한 줄 요약

이 논문은 표면 결함 검출에서 국소적 특징 추출을 위해 컨볼루션 신경망을 활용하고, 장거리 의존성을 모델링하기 위해 새로운 다중 척도 자기주의 메커니즘을 도입한 하이브리드 CNN-Transformer 아키텍처인 Defect Transformer(DefT)를 제안한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정확도, 학습 효율성, 데이터 효율성 측면에서 향상된 성능을 보이며, 순수한 CNN 및 Transformer 기반 모델들을 모두 능가한다.

ABSTRACT

Surface defect detection is an extremely crucial step to ensure the quality of industrial products. Nowadays, convolutional neural networks (CNNs) based on encoder-decoder architecture have achieved tremendous success in various defect detection tasks. However, due to the intrinsic locality of convolution, they commonly exhibit a limitation in explicitly modeling long-range interactions, critical for pixel-wise defect detection in complex cases, e.g., cluttered background and illegible pseudo-defects. Recent transformers are especially skilled at learning global image dependencies but with limited local structural information necessary for detailed defect location. To overcome the above limitations, we propose an efficient hybrid transformer architecture, termed Defect Transformer (DefT), for surface defect detection, which incorporates CNN and transformer into a unified model to capture local and non-local relationships collaboratively. Specifically, in the encoder module, a convolutional stem block is firstly adopted to retain more detailed spatial information. Then, the patch aggregation blocks are used to generate multi-scale representation with four hierarchies, each of them is followed by a series of DefT blocks, which respectively include a locally position-aware block for local position encoding, a lightweight multi-pooling self-attention to model multi-scale global contextual relationships with good computational efficiency, and a convolutional feed-forward network for feature transformation and further location information learning. Finally, a simple but effective decoder module is proposed to gradually recover spatial details from the skip connections in the encoder. Extensive experiments on three datasets demonstrate the superiority and efficiency of our method compared with other CNN- and transformer-based networks.

연구 동기 및 목표

• 표면 결함 검출에서 CNN의 장거리 의존성 모델링 능력 부족과 Transformer의 세밀한 국소적 세부 정보를 포착하지 못하는 문제를 해결하기 위해.
• CNN의 국소적 공간 인덕티브 바이어스와 Transformer의 글로벌 컨텍스트 모델링을 효과적으로 융합하는 통합 아키텍처를 개발하기 위해.
• 혼잡한 배경과 가짜 결함이 있는 복잡한 산업 이미지에서의 검출 성능 향상을 위해.
• 컨볼루션 구성 요소를 통해 인덕티브 바이어스를 명시적으로 통합함으로써 학습 및 데이터 효율성을 향상시키기 위해.

제안 방법

• 고해상도 공간 세부 정보를 유지하기 위해 인코더 입력에 컨볼루션 스템 블록을 사용한다.
• 패치 집계 블록이 네 단계의 계층적 수준에서 다중 척도 특징을 생성한다.
• 각 수준 뒤에 국소적 위치 인식 블록(LPB)을 포함한 DefT 블록이 따라온다.
• 경량 다중 풀링 자기주의(LMPS) 메커니즘이 저비용으로 다중 척도 글로벌 컨텍스트를 캡처한다.
• 표준 FFN 대신 특징 변환과 위치 학습을 향상시키기 위해 경량 컨볼루션 피드포워드 네트워크(CFFN)를 도입한다.
• 스킵 연결을 갖춘 단순한 디코더가 계층적 특징에서 밀도 높은 세그멘테이션 맵을 재구성한다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-Transformer 아키텍처가 순수한 CNN 및 Transformer보다 표면 결함 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ2 컨볼루션 연산을 통한 명시적 국소적 위치 인코딩이 절대적 또는 상대적 위치 인코딩에 비해 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ3 CNN 인덕티브 바이어스를 통합함으로써 학습 및 데이터 효율성이 얼마나 향상되는가?
• RQ4 각 구성 요소(LPB, LMPS, CFFN)가 전체 검출 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• 기본 모델의 표준 FFN을 제안된 CFFN로 교체함으로써 MAE에서 5.5%의 상대적 향상이 이루어졌다.
• 국소적 위치 인식 블록(LPB)을 추가함으로써 MAE가 5.2% 향상되었으며, 계산 비용은 거의 증가하지 않았다.
• 경량 다중 풀링 자기주의(LMPS) 메커니즘이 계산 오버헤드를 줄이면서 성능 향상을 이끌어내어 MAE 0.0136를 달성했다.
• DefT는 학습 효율성과 데이터 효율성 측면에서 Swin-Unet을 능가한다: 60 에포크 만에 F1 점수가 82.53%에 도달했으며, 이는 700 에포크 동안 훈련된 Swin-Unet을 초월한다.
• DefT는 데이터의 30%로 훈련해도 ImageNet으로 사전 훈련된 Swin-Unet*의 성능을 재현하며, 뛀난 데이터 효율성을 입증한다.
• 특수한 위치 인코딩이 없는 모델(N/A)조차도 경쟁력 있는 성능(97.12% 정확도)을 보이며, 컨볼루션 구성 요소가 암묵적으로 공간 인덕티브 바이어스를 제공한다는 점을 확인한다.