[논문 리뷰] Improving unsupervised anomaly localization by applying multi-scale memories to autoencoders

Yifei Yang, Shibing Xiang외 1명|arXiv (Cornell University)|2020. 12. 21.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 다중 해상도 특징 표현을 향상시키기 위해 해상도별 메모리 모듈과 다중 해상도 어텐션 퓨저를 도입한 Multi-Scale Memory Autoencoders (MMAE)를 제안한다. 각 해상도에서 인코딩된 특징을 전용 메모리에서 유사도가 가장 높은 프로토타입 특징으로 대체하고, 어텐션을 통해 이를 융합함으로써 재구성 정밀도와 이상 탐지 성능을 향상시킨다. 다양한 데이터셋에서 기준(autoencoders 및 MemAE)보다 뛰어난 성능을 보이며, UCSD-Ped2에서 AUC가 최대 0.949까지 향상된다.

ABSTRACT

Autoencoder and its variants have been widely applicated in anomaly detection.The previous work memory-augmented deep autoencoder proposed memorizing normality to detect anomaly, however it neglects the feature discrepancy between different resolution scales, therefore we introduce multi-scale memories to record scale-specific features and multi-scale attention fuser between the encoding and decoding module of the autoencoder for anomaly detection, namely MMAE.MMAE updates slots at corresponding resolution scale as prototype features during unsupervised learning. For anomaly detection, we accomplish anomaly removal by replacing the original encoded image features at each scale with most relevant prototype features,and fuse these features before feeding to the decoding module to reconstruct image. Experimental results on various datasets testify that our MMAE successfully removes anomalies at different scales and performs favorably on several datasets compared to similar reconstruction-based methods.

연구 동기 및 목표

• 비지도 이상 탐지 과정에서 다양한 해상도 간 특징 불일치 문제를 해결하기 위해 MemAE의 한계를 보완한다.
• 전용 메모리 모듈을 통해 해상도별 정상 패턴을 유지함으로써 정상 영역의 재구성 정밀도를 향상시킨다.
• 어텐션 기반 메커니즘을 활용해 다중 해상도의 이상 없음 특징을 융합함으로써 이상 국소화 정밀도를 향상시킨다.
• 모델 복잡도를 증가시키지 않으면서도 자동에코더의 엔드 투 엔드 학습 프레임워크를 유지한다.

제안 방법

• 비지도 사전 학습 기간 동안 각 해상도에 맞는 특정 해상도에서 프로토타입 특징을 저장하는 다수의 메모리 모듈을 도입한다.
• 다양한 해상도에서 유사도가 높은 프로토타입 특징을 동적으로 가중하고 융합하기 위해 다중 해상도 어텐션 퓨저를 사용한다.
• 추론 과정에서 각 해상도의 원본 인코딩 특징을 해당 해상도 전용 메모리에서 가장 유사한 프로토타입 특징으로 대체한다.
• 스패티오템포럴 일관성을 유지하기 위해 영상 데이터에 대해 3D 컨볼루션 인코더-디코더 아키텍처를 적용한다.
• 다양한 가짜 양성률에서 이상 세그멘테이션 성능을 평가하기 위해 임계값에 의존하지 않는 영역별 겹침(PRO) 지표를 적용한다.
• 기본 재구성 손실을 사용하여 모델을 엔드 투 엔드로 학습하고, 역전파 동안 미분 가능 주소 지정을 통해 메모리 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 해상도별 전용 메모리 모듈이 자동에코더 기반 이상 탐지에서 다중 해상도에서 정상 패턴의 표현을 향상시키는가?
• RQ2 어떤 메커니즘을 통해 다중 해상도의 메모리 기반 특징을 어텐션으로 융합하면 정상 영역의 재구성 품질 향상과 이상 국소화 성능 향상이 이루어지는가?
• RQ3 다양한 데이터셋에서 제안된 MMAE 방법이 MemAE 및 기타 최신 기술(SOTA) 기반 재구성 방법과 비교해 이상 탐지 성능에서 어떻게 뛰어나게 되는가?
• RQ4 다중 해상도 메모리의 사용이 메모리 증강 자동에코더에서 선형 부분공간 제약으로 인한 표현 능력 저하 문제를 어느 정도 완화하는가?

주요 결과

• UCSD-Ped2 영상 데이터셋에서 MMAE는 AUC 0.949를 기록하여 MemAE(0.941) 및 기타 최신 기술(SOTA) 방법을 능가한다.
• CUHK Avenue 데이터셋에서 MMAE는 AUC 0.846을 달성하여 MemAE(0.833) 및 기타 재구성 기반 기준보다 뛰어나다.
• ShanghaiTech 데이터셋에서 MMAE는 AUC 0.731을 기록하며, MemAE(0.712) 및 기타 방법보다 일관된 개선을 보였다.
• 시험 영상에 이상이 존재하는 경우에도 재구성 품질 향상으로 인해 다중 해상도에서 이상을 성공적으로 제거함을 입증했다.
• 다중 해상도 메모리의 사용은 더 크고 표현력 있는 이상 없음 잠재 공간을 가능하게 하여 재구성 정밀도와 이상 재구성 방지 조건을 모두 충족시켰다.
• 어텐션 기반 융합 메커니즘이 해상도별로 청소된 특징을 효과적으로 융합하여 정상 영역의 더 정확하고 강건한 재구성 결과를 이끌어냈다.