[논문 리뷰] A Survey of Visual Sensory Anomaly Detection

Xi Jiang, Guoyang Xie외 5명|arXiv (Cornell University)|2022. 02. 14.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 종합 검토는 시각적 감각 이상 탐지(AD)에 대한 첫 번째 종합적인 리뷰를 제공하며, 형태와 감독 수준에 따라 이상을 물체 수준, 장면 수준, 이벤트 수준으로 분류한다. 최근의 딥 러닝 기법을 통합하고 핵심 과제를 규명하며, 산업용 AD를 위한 사전 학습 모델, 지속적 학습, 3D AD, 의미 인식 장면 생성과 같은 열린 방향을 제안한다.

ABSTRACT

Visual sensory anomaly detection (AD) is an essential problem in computer vision, which is gaining momentum recently thanks to the development of AI for good. Compared with semantic anomaly detection which detects anomaly at the label level (semantic shift), visual sensory AD detects the abnormal part of the sample (covariate shift). However, no thorough review has been provided to summarize this area for the computer vision community. In this survey, we are the first one to provide a comprehensive review of visual sensory AD and category into three levels according to the form of anomalies. Furthermore, we classify each kind of anomaly according to the level of supervision. Finally, we summarize the challenges and provide open directions for this community. All resources are available at https://github.com/M-3LAB/awesome-visual-sensory-anomaly-detection.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 시각적 감각 이상 탐지(AD)에 대한 철저한 검토가 부족한 데 대비하여, 특히 의미적 이탈이 아닌 공변이탈(covariate shift)에 초점을 맞춘다.
• 이상의 형태에 따라 시각적 감각 AD를 물체 수준, 장면 수준, 이벤트 수준의 세 단계로 체계적으로 분류한다.
• 감독 수준에 따라 기존 방법을 비감독, 약한 감독, 감독 방식으로 분류한다.
• 시각적 감각 AD의 향후 발전을 위한 열린 과제와 연구 방향을 규명한다.

제안 방법

• 이 검토는 시각적 감각 AD를 세 가지 계층적 형태로 조직한다: 물체 수준(지역화된 결함), 장면 수준(장면 내의 새로운 물체), 이벤트 수준(비디오에서의 비정상 행동).
• 학습 파рад라임에 따라 방법을 분류한다: 비감독(자기지도학습, 사전 학습 적응, 재구성, 특징 모델링), 약한 감독(부분/반감독, 정확도가 떨어지는 감독), 감독(구체적인 구조적 또는 섬유 결함).
• 비디오 수준의 AD에 대해서는 감독 수준에 따라 추가로 그룹화한다: 비감독(GAN 기반, 오토에코더 기반, 운동 특징 융합), 약한 감독(관계 인식 CNN, 자기주의 어텐션 CRF, 시간 특징 학습), 감독(수작업 특징, 온라인 학습, 운동 손실).
• MVTec AD, 상하이 테크, Lost and Found와 같은 기존 벤치마크를 활용하여 방법의 성능과 도메인 간 일관성을 평가한다.
• 외부 분포 탐지와 일종의 분류와 같은 관련 분야의 통찰을 통합하여 의미적 이탈과 감각(공변) 이탈 간의 차이를 명확히 한다.
• 재현성과 커뮤니티 성장을 지원하기 위해 https://github.com/M-3LAB/awesome-visual-sensory-anomaly-detection 에 포괄적인 자원 리포지터리를 구축한다.

실험 결과

연구 질문

• RQ1 이상의 형태(물체, 장면, 이벤트)와 감독 수준에 따라 시각적 감각 이상 탐지 방법을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 비감독, 약한 감독, 감독 접근법 간의 주요 방법론적 차이는 무엇인가?
• RQ3 최근의 딥 러닝 기법은 도메인 이탈, 제한된 이상 데이터, 예측 불가능한 도메인으로의 일반화 문제를 어떻게 해결하는가?
• RQ4 특히 산업 및 3D 환경에서의 시각적 감각 이상 탐지에서 열린 과제와 향후 연구 방향은 무엇인가?
• RQ5 자기지도학습 및 사전 학습 모델은 어떻게 저데이터, 실세계 이상 탐지 시나리오에서 성능을 향상시키기 위해 적응시킬 수 있는가?

주요 결과

• 이 검토는 공변이탈(지역화된 시각적 이질성)에 초점을 맞춘 시각적 감각 AD가 의미적 AD(라벨 수준의 이탈)와 구별되며, 이전 검토에서 부족하게 다뤄졌음을 규명한다.
• 비감독 방법이 물체 수준 AD에서 지배적이며, 재구성 기반 및 자기지도학습 기법(Li 등, 2021; Sheynin 등, 2021)이 MVTec AD에서 뛰어난 성능을 보였다.
• 약한 감독 비디오 AD 방법 중 관계 인식 CNN(Purwanto 등, 2021)이나 이중 경로 정밀화(Wu 등, 2021)를 사용한 방법은 낮은 정확도의 애너테이션만으로도 개선된 국소화 성능을 달성했다.
• 감독 비디오 AD 모델은 운동 손실(Li 등, 2022)이나 온라인 학습(Lu 등, 2018)을 활용한 것으로, 상하이 테크와 같은 벤치마크에서 높은 추론 속도(1,000–1,200 fps)와 뛰어난 정확도를 달성했다.
• 이 검토는 현재의 사전 학습 모델(예: ImageNet 기반 ResNet18)이 산업용 AD에서 도메인 편향을 유발하며, 이상 데이터 기반의 도메인 전용 사전 학습이 향후 유망한 방향임을 강조한다.
• 3D AD는 높은 잠재력을 지닌 분야로 부상하고 있으며, Bergmann 등(2021)이 3D 데이터셋을 소개했지만 표준 기반 모델은 아직 존재하지 않아 핵심 과제로 남아 있다.