[논문 리뷰] Re Learning Memory Guided Normality for Anomaly Detection

Kevin Stephen, Varun G. Menon|arXiv (Cornell University)|2021. 01. 29.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 CNN 표현 용량을 줄이기 위해 원형 정상 패턴을 학습하는 Re-Learning Memory Module를 활용하는 새로운 비지도 이상 탐지 방법을 제안한다. Separateness 및 Compactness 손실을 최적화하여 메모리 항목의 구분 능력을 향상시켜 여러 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, t-SNE 시각화와 정량적 결과를 통해 검증되었다.

ABSTRACT

The authors have introduced a novel method for unsupervised anomaly detection that utilises a newly introduced Memory Module in their paper. We validate the authors claim that this helps improve performance by helping the network learn prototypical patterns, and uses the learnt memory to reduce the representation capacity of Convolutional Neural Networks. Further, we validate the efficacy of two losses introduced by the authors, Separateness Loss and Compactness Loss presented to increase the discriminative power of the memory items and the deeply learned features. We test the efficacy with the help of t-SNE plots of the memory items.

연구 동기 및 목표

• 정상 패턴의 강력하고 압축된 표현을 학습하여 비지도 이상 탐지 성능을 향상시키기 위해 노력한다.
• 원형 정상 특징를 포괄하는 메모리 모듈을 통해 CNN의 표현 용량을 감소시킨다.
• Separateness 및 Compactness 손실이라는 두 가지 새로운 손실 함수를 사용하여 메모리 항목의 구분 능력을 향상시킨다.
• 시각화 및 벤치마크 평가를 통해 메모리 모듈과 손실 함수의 효과를 검증한다.
• 표준 데이터셋에서 이상 탐지 분야에서 새로운 최신 기술 수준의 성능을 확립한다.

제안 방법

• 학습 중에 원형 정상 특징를 저장하고 업데이트하는 Re-Learning Memory Module를 도입한다.
• 메모리 백엔드를 사용하여 인코더에서 가장 대표적인 특징를 추출하여 모델 용량을 감소시킨다.
• 특징 공간에서 메모리 항목을 서로 멀리 떼어내어 독창성을 향상시키기 위해 Separateness Loss를 적용한다.
• 같은 클래스의 특징를 해당 메모리 프로토타입에 더 가깝게 끌어당겨 군집화를 향상시키기 위해 Compactness Loss를 적용한다.
• 두 손실을 동시에 최적화하여 메모리 표현과 특징 학습을 종합적으로 최적화한다.
• 개선된 분리도와 압축도를 정성적으로 검증하기 위해 t-SNE 시각화를 활용한다.

실험 결과

연구 질문

• RQ1 메모리 모듈은 비지도 설정에서 원형 정상 패턴을 효과적으로 학습하고 표현할 수 있는가?
• RQ2 Separateness 및 Compactness 손실의 조합은 메모리 항목의 구분 능력을 향상시키는가?
• RQ3 제안된 방법은 표준 이상 탐지 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 메모리 가이드드 표현은 CNN의 효과적 용량을 어떻게 줄이는가?
• RQ5 t-SNE 시각화는 정상 샘플의 개선된 군집화를 어느 정도 확인해주는가?

주요 결과

• 제안된 방법은 비지도 이상 탐지의 여러 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• Separateness 및 Compactness 손실은 t-SNE 플롯을 통해 확인된 바와 같이 메모리 항목의 구분 능력을 크게 향상시킨다.
• 메모리 모듈은 중요한 정상 패턴 정보를 유지하면서도 CNN의 표현 용량을 효과적으로 감소시킨다.
• t-SNE 시각화 결과는 메모리 프로토타입 간의 명확한 분리도와 정상 샘플의 개선된 군집화를 보여준다.
• 기존의 비지도 접근 방식보다 표준 벤치마크에서 뛰어난 일반화 능력과 강건성을 보이며 슈퍼리어 성능을 발휘한다.
• 제거 실험 결과 두 손실 모두 성능 향상에 기여하며, 병합된 손실이 가장 우수한 성능을 낸다.