[논문 리뷰] EasyNet: An Easy Network for 3D Industrial Anomaly Detection

Ruitao Chen, Guoyang Xie외 5명|arXiv (Cornell University)|2023. 07. 26.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

EasyNet는 대규모 사전 학습 모델과 메모리 백업에 의존하지 않고도 경량이며 구현에 유리한 3D 산업 이상 탐지 네트워크를 제안한다. 다중 스케일, 다중 모odal 재구성 및 분할 네트워크에 주목 기반 정보 엔트로피 융합 모듈을 사용함으로써, MVTec 3D-AD에서 92.6%의 I-AUROC를 달성하고 Tesla V100에서 94.55 FPS의 추론 속도를 기록하여 정확도와 실시간 효율성 측면에서 이전 방법들을 능가한다.

ABSTRACT

3D anomaly detection is an emerging and vital computer vision task in industrial manufacturing (IM). Recently many advanced algorithms have been published, but most of them cannot meet the needs of IM. There are several disadvantages: i) difficult to deploy on production lines since their algorithms heavily rely on large pre-trained models; ii) hugely increase storage overhead due to overuse of memory banks; iii) the inference speed cannot be achieved in real-time. To overcome these issues, we propose an easy and deployment-friendly network (called EasyNet) without using pre-trained models and memory banks: firstly, we design a multi-scale multi-modality feature encoder-decoder to accurately reconstruct the segmentation maps of anomalous regions and encourage the interaction between RGB images and depth images; secondly, we adopt a multi-modality anomaly segmentation network to achieve a precise anomaly map; thirdly, we propose an attention-based information entropy fusion module for feature fusion during inference, making it suitable for real-time deployment. Extensive experiments show that EasyNet achieves an anomaly detection AUROC of 92.6% without using pre-trained models and memory banks. In addition, EasyNet is faster than existing methods, with a high frame rate of 94.55 FPS on a Tesla V100 GPU.

연구 동기 및 목표

• 산업 제조 환경에서 실시간으로 구현 가능한 3D 이상 탐지에 대한 핵심적 수요를 해결한다.
• 기존 방법들이 대규모 사전 학습 모델이나 메모리 백업에 의존함으로써 실시간 구현을 저해하고 저장 비용을 증가시키는 한계를 극복한다.
• RGB와 깊이 정보를 효과적으로 융합하여 향상된 탐지 정확도를 달성하는 경량의 비지도 3D 이상 탐지 프레임워크를 개발한다.
• 성능을 희생시키지 않고 높은 추론 속도를 달성하여 생산 라인에서의 실용적 적용을 가능하게 한다.

제안 방법

• 비정상 영역를 합성하고 다중 스케일 특징을 사용하여 원본 RGB 및 깊이 이미지를 재구성하는 다중 모달 재구성 네트워크(MRN)를 제안한다.
• 양방향 모달에서 재구성된 특징과 원본 특징을 융합하여 정밀한 이상 지도를 생성하는 다중 모달 분할 네트워크(MSN)를 활용한다.
• 추론 중에 정보가 많은 깊이 특징을 동적으로 선택함으로써 노이즈를 감소시키고 융합 효율을 향상시키는 주목 기반 정보 엔트로피 융합 모듈을 도입한다.
• 자기 주목 메커니즘을 사용해 모달 선택을 위한 엔트로피 점수를 계산함으로써 적응형 융합을 가능하게 하여 성능 향상을 이끌고 동시에 속도를 유지한다.
• 메모리 백업과 사전 학습 모델을 피하는 네트워크 아키텍처를 설계하여 낮은 저장소 오버헤드와 빠른 추론을 보장한다.
• 다양한 레이어에서 특징 융합을 최적화하였으며, 분석 결과 두 레이어가 최적의 성능을 내는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 대규모 사전 학습 모델이나 메모리 백업에 의존하지 않고도 3D 이상 탐지 모델이 높은 정확도를 달성할 수 있는가?
• RQ2 RGB와 깊이 특징을 어떻게 효과적으로 융합하여 이상 탐지 정확도를 향상시키면서도 관련 없는 모달에서 유래하는 노이즈를 최소화할 수 있는가?
• RQ3 다중 모달 재구성 프레임워크에서 이상 분할을 위한 최적의 특징 레이어 수는 몇 개인가?
• RQ4 경량의 종단 간(end-to-end) 네트워크가 산업 생산 라인에서 실시간 추론 속도를 달성할 수 있는가?

주요 결과

• EasyNet는 MVTec 3D-AD 벤치마크에서 92.6%의 I-AUROC, Eyescandies에서 86.9%의 성능을 기록하여 사전 학습 모델이나 메모리 백업을 사용하지 않음에도 불구하고 최신 기술을 능가하는 정확도를 확보했다.
• Tesla V100 GPU에서 94.55 FPS의 높은 추론 속도를 기록하여 AST의 125% 이상, M3DM의 93,900% 이상 빠르게 성능을 뛰어넘었다.
• 분석 결과, MSN에서 두 개의 특징 레이어를 사용할 경우 최고의 성능가 도달했으며, 세 개의 레이어는 비정상 특징을 과도하게 제거하여 성능 저하를 초래했다.
• 주목 기반 정보 엔트로피 융합 모듈은 특히 케이블 조임부나 피rope와 같은 연성 재료와 같은 이상 유형에서 정보가 많은 깊이 특징을 선택적으로 융합함으로써 임의의 이상을 감소시키고 탐지 성능을 향상시켰다.
• 자연 이미지와 산업 이미지 간 도메인 갭에 대해 강건하며, 다양한 산업 데이터셋에서 높은 성능을 유지했다.
• 제안된 아키텍처는 기존의 3D-AD 방법들 중에서 가장 빠른 속도를 기록하여 실시간 구현에 유일무이한 적합성을 지녔다.