[논문 리뷰] Reconstruction from edge image combined with color and gradient difference for industrial surface anomaly detection

Tongkun Liu, Bing Li외 4명|arXiv (Cornell University)|2022. 10. 26.

Anomaly Detection Techniques and Applications인용 수 14

한 줄 요약

이 논문은 RGB 이미지를 그들의 회색조 에지에서 재구성하는 데노이징 오토에인코드어와 스킵 연결을 사용하는 재구성 기반 방법인 EdgRec을 제안한다. 모델이 정상적인 색상과 저주파 성분을 기억하도록 강제하면서도 고주파 에지를 유지하고, 새로운 색상-기울기 평가 함수를 결합함으로써 MVTec AD에서 최신 기술 수준의 성능(이미지 검출 시 97.8% AUROC, 국소화 시 97.7% AUROC)을 달성하며, RGB 이미지만을 사용해도 3D-AD에서도 우수한 성능을 보였다.

ABSTRACT

Reconstruction-based methods are widely explored in industrial visual anomaly detection. Such methods commonly require the model to well reconstruct the normal patterns but fail in the anomalies, and thus the anomalies can be detected by evaluating the reconstruction errors. However, in practice, it's usually difficult to control the generalization boundary of the model. The model with an overly strong generalization capability can even well reconstruct the abnormal regions, making them less distinguishable, while the model with a poor generalization capability can not reconstruct those changeable high-frequency components in the normal regions, which ultimately leads to false positives. To tackle the above issue, we propose a new reconstruction network where we reconstruct the original RGB image from its gray value edges (EdgRec). Specifically, this is achieved by an UNet-type denoising autoencoder with skip connections. The input edge and skip connections can well preserve the high-frequency information in the original image. Meanwhile, the proposed restoration task can force the network to memorize the normal low-frequency and color information. Besides, the denoising design can prevent the model from directly copying the original high-frequent components. To evaluate the anomalies, we further propose a new interpretable hand-crafted evaluation function that considers both the color and gradient differences. Our method achieves competitive results on the challenging benchmark MVTec AD (97.8\% for detection and 97.7\% for localization, AUROC). In addition, we conduct experiments on the MVTec 3D-AD dataset and show convincing results using RGB images only. Our code will be available at https://github.com/liutongkun/EdgRec.

연구 동기 및 목표

• 재구성 기반 이상 탐지에서 과도한 일반화 또는 과소 일반화 문제를 해결하기 위해, 모델이 정상적인 변동에는 실패하거나 이상을 잘 재구성하는 문제를 해결한다.
• 고주파 정상 패턴의 재구성 정밀도를 향상시키고, 재구성 과정에서의 열화로 인한 임의의 양성 결과를 줄이기 위해 노력한다.
• 색상과 기울기 차이를 조합한 새로운 수작업 평가 함수를 통해 더 이해 가능하고 조정 가능한 이상 평가 기능을 개발한다.
• 2D 및 3D 산업 결함 탐지 벤치마크에서 RGB 이미지만을 사용해도 효과성을 입증한다.

제안 방법

• 원래 RGB 이미지를 그들의 회색조 에지맵에서 재구성하는 새로운 에지-이미지 재구성 작업을 제안한다.
• 스킵 연결을 갖춘 UNet 스타일의 데노이징 오토에인코드어를 사용하여 고주파 성분을 유지하고 특징 복구를 향상시킨다.
• DTD 텍스처와 CutPaste 증강을 통해 다중 척도의 가짜 이상을 도입하여 정체성 매핑을 방지하고 강건성을 향상시킨다.
• 입력 에지를 합성 이상으로 손상시켜 에지 특징를 직접 복사하는 것을 방지하기 위해 데노이징 설계를 적용한다.
• 색상 차이와 기울기 차이를 조합한 새로운 수작업 이상 평가 함수(MSGMS)를 설계하여 탐지 성능을 향상시킨다.
• 도메인 특화된 필요에 따라 구성 요소의 재가중치를 가능하게 하여 모델의 해석 가능성과 조정 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 에지맵에서 재구성하는 것이 재구성 기반 이상 탐지 모델의 일반화 경계를 향상시킬 수 있는가?
• RQ2 표준 이미지-이미지 재구성과 비교해 에지 기반 재구성은 미세하거나 고주파 이상을 탐지하는 데 어떻게 더 효과적인가?
• RQ3 수작업 색상-기울기 평가 함수는 L2나 SSIM과 같은 표준 지표보다 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 RGB 이미지만을 사용해도 3D 표면 결함 탐지에 일반화 가능한가?
• RQ5 다양한 가짜 이상 생성 전략은 모델 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 EdgRec 방법은 MVTec AD 벤치마크에서 이미지 수준 이상 탐지 시 97.8% AUROC, 픽셀 수준 국소화 시 97.7% AUROC를 달성하여 기존 재구성 기반 방법을 능가한다.
• 에지 기반 재구성 작업은 표준 이미지-이미지 데노이징 오토에인코드어(DeAE)보다 성능을 크게 향상시키며, 특히 '케이블 스왑'과 같은 색상 기반 결함 탐지에서 두각을 나타낸다.
• MSGMS와 제안된 색상 기반 평가 함수의 조합이 가장 높은 성능(97.8% AUROC)을 기록하여 다중 모odal 이상 스코어링의 효과성을 입증한다.
• 추가적인 가짜 이상 없이도 EdgRec은 경쟁 가능한 성능을 달성하여, 에지-이미지 재구성 설계의 내재된 이점이 있음을 시사한다.
• 이 방법은 RGB 이미지만을 사용해도 MVTec 3D-AD 데이터셋에서 3D 표면 결함 탐지에 잘 일반화되며, 실세계 적용 잠재력이 높다.
• 제거 실험 결과, 에지 재구성 작업과 색상-기울기 평가 함수 모두 성능 향상에 핵심적인 역할을 하며, 각각이 최종 결과에 크게 기여하는 것으로 확인되었다.