[논문 리뷰] Benchmarking Unsupervised Anomaly Detection and Localization

Zheng Ye, Xiang Wang외 3명|arXiv (Cornell University)|2022. 05. 30.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 MVTec AD 및 MVTec 3D-AD 데이터셋에서 비지도 이상 탐지 및 국소화 방법에 대한 종합적인 벤치마킹 연구를 제시한다. 성능, 추론 효율성, 레이블 모호성 등을 평가한다. PatchCore와 PaDim이 각각 픽셀 수준 및 이미지 수준 이상 국소화에서 최고 성능을 기록하며, 기존 2D 방법들이 RGB 입력만으로도 3D 데이터에 잘 일반화됨을 발견한다.

ABSTRACT

Unsupervised anomaly detection and localization, as of one the most practical and challenging problems in computer vision, has received great attention in recent years. From the time the MVTec AD dataset was proposed to the present, new research methods that are constantly being proposed push its precision to saturation. It is the time to conduct a comprehensive comparison of existing methods to inspire further research. This paper extensively compares 13 papers in terms of the performance in unsupervised anomaly detection and localization tasks, and adds a comparison of inference efficiency previously ignored by the community. Meanwhile, analysis of the MVTec AD dataset are also given, especially the label ambiguity that affects the model fails to achieve full marks. Moreover, considering the proposal of the new MVTec 3D-AD dataset, this paper also conducts experiments using the existing state-of-the-art 2D methods on this new dataset, and reports the corresponding results with analysis.

연구 동기 및 목표

• MVTec AD 데이터셋에서 13개의 최신 비지도 이상 탐지 및 국소화 방법에 대한 종합적이고 재현 가능한 비교를 제공하기 위해.
• 기존 커뮤니티에서 간과되었던 요소인 추론 효율성을 주요 SOTA 방법들에 대해 평가하기 위해.
• MVTec AD 데이터셋에서 모델 성능을 제한하는 레이블 모호성을 특정하고 분석하기 위해.
• 최근 제안된 MVTec 3D-AD 데이터셋에서 2D SOTA 방법의 이식 가능성을 RGB 데이터만을 사용하여 평가하기 위해.

제안 방법

• 표준 평가 지표(이미지 수준 AUC 및 픽셀 수준 PRO)를 사용하여 MVTec AD 데이터셋에서 13개의 비지도 이상 탐지 및 국소화 방법에 대한 광범위한 평가를 수행한다.
• 다양한 방법 간의 계산 효율성을 비교하기 위해 추론 시간 측정을 통합한다.
• MVTec AD 데이터셋의 모호한 애너테이션을 수동으로 점검하고 수정하여 그 성능에 미치는 영향을 평가한다.
• 3D 전용 아키텍처 없이 RGB 입력만을 사용하여 2D SOTA 방법들(예: PatchCore, PaDim, FastFlow)을 3D-AD 데이터셋에 적응시킨다.
• 모달리티 감도를 평가하기 위해 3D 전용, 3D+RGB, RGB 전용 세 가지 설정에서 모델을 훈련 및 추론한다.
• 평가된 방법들에서 두 주요 패러다임으로 복구 기반 및 표현 기반 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 기존 비지도 이상 탐지 및 국소화 방법들이 MVTec AD 벤치마크에서 정확도와 추론 효율성 측면에서 어떻게 비교되는가?
• RQ2 MVTec AD 데이터셋의 레이블 모호성이 모델이 완벽한 성능을 내는 것을 얼마나 막는가?
• RQ3 2D SOTA 이상 탐지 방법들이 RGB 데이터만을 사용할 때 3D 이상 탐지 작업에 효과적으로 일반화될 수 있는가?
• RQ4 MVTec 3D-AD 데이터셋에서 2D 및 3D 방법 간의 성능 격차는 어느 정도이며, 어떤 모달리티 조합이 가장 좋은 성능을 낼 수 있는가?

주요 결과

• PatchCore는 MVTec 3D-AD 데이터셋에서 가장 높은 픽셀 수준 이상 국소화 성능을 기록하며(PRO 점수 0.930), 다른 방법들을 압도한다.
• PaDim은 MVTec 3D-AD 데이터셋에서 가장 높은 이미지 수준 이상 탐지 AUC(0.980)를 기록하여 3D 데이터로의 강력한 일반화 능력을 보여준다.
• MVTec AD 데이터셋의 레이블 모호성을 수정한 후, 최신 SOTA 방법의 성능가 최고 점수에 가까워지며, 이는 애너테이션 품질이 평가에 큰 영향을 미친다는 것을 시사한다.
• PatchCore 및 FastFlow를 포함한 여러 2D SOTA 방법들이 RGB 데이터만을 사용할 때 MVTec 3D-AD 데이터셋에서 높은 성능(AUC > 0.93)을 기록하며, 이는 강력한 이식 가능성의 증거이다.
• 추론 효율성은 방법에 따라 크게 다름을 확인하였으며, FastFlow 및 CFlow는 가장 빠른 편에 속하여 실용적 구현에서 효율성의 중요성을 강조한다.
• MVTec 3D-AD 데이터셋에서 평균 성능은 RGB 전용 입력일 때 가장 높게 나타나, 높은 성능을 내기 위해 3D 기하학적 정보가 항상 필요하지 않음을 시사한다.