[논문 리뷰] Deep Nearest Neighbor Anomaly Detection

Liron Bergman, Niv Cohen외 1명|arXiv (Cornell University)|2020. 02. 24.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 108

한 줄 요약

본 논문은 Imagenet-사전학습된 ResNet 특징(DN2)을 이용한 간단한 kNN 이상 탐지기가 단일 모드, 다중 모드, 비지도 및 그룹 이상 탐지 과제 전반에서 최첨단 자기지도 및 심층 방법보다 우수하며, 샘플 복잡도가 낮고 학습 단계가 필요하지 않음을 보여준다.

ABSTRACT

Nearest neighbors is a successful and long-standing technique for anomaly detection. Significant progress has been recently achieved by self-supervised deep methods (e.g. RotNet). Self-supervised features however typically under-perform Imagenet pre-trained features. In this work, we investigate whether the recent progress can indeed outperform nearest-neighbor methods operating on an Imagenet pretrained feature space. The simple nearest-neighbor based-approach is experimentally shown to outperform self-supervised methods in: accuracy, few shot generalization, training time and noise robustness while making fewer assumptions on image distributions.

연구 동기 및 목표

• 사전학습된 특징과 kNN을 사용한 이미지 이상 탐지의 간단하고 강력한 기준선을 제시한다.
• DN2의 semi-supervised, unsupervised, 및 group anomaly 설정에서의 성능을 입증한다.
• Imagenet과 달리 다양한 데이터 분포 및 작은 데이터셋, 학습 데이터의 오염에 대한 강건성을 보여준다.
• DN2를 자기지도 및 심층 학습 기반 이상 탐지기와 비교한다.
• DN2를 언제 어떻게 적용할지에 대한 실용적 지침과 한계를 제시한다.

제안 방법

• 모든 이미지를 프리트레이닝(feature extractor)된 특징 추출기(Imagenet-사전학습 ResNet)로 임베딩한다.
• 특징 공간에서 k 최근접 이웃 거리들을 이상점 점수로 계산한다.
• semi-supervised의 경우, 학습 임베딩에 대한 kNN 거리를 임계값으로 구분하여 분류한다.
• 비지도: DN2를 재실행하기 전에 고밀도 이상치 이미지를 제거하는 정리(cleaning) 단계를 수행한다.
• 그룹 이상 탐지의 경우, 집합 내 이미지 특징을 평균화하여 그룹 임베딩을 만들고 DN2를 적용한다.
• 근사 kNN 검색을 위한 학습 특징의 클러스터링으로 실용적인 속도 향상을 논의한다.

실험 결과

연구 질문

• RQ1 사전학습 이미지 특징에서의 kNN이 이상 탐지에 대해 자기지도 및 심층 특징 방법보다 우수한가?
• RQ2 DN2가 semi-supervised, unsupervised, 및 group anomaly 설정에서 어떻게 작동하는가?
• RQ3 네트워크 깊이, 이웃의 수, 데이터 불변성이 DN2 성능에 미치는 영향은 무엇인가?
• RQ4 DN2가 작은 학습 세트와 다양한 이미지 도메인에서도 효과적인가?
• RQ5 DN2가 노이즈가 있거나 오염된 학습 데이터를 견고하게 처리할 수 있는가?

주요 결과

• DN2는 여러 데이터셋에서 종종 최첨단 이상 탐지 방법을 능가한다(예: CIFAR10, Fashion-MNIST, CIFAR100).
• Imagenet-사전학습 ResNet 특징을 사용하면 특징 공간에서 강한 지역성을 얻어 kNN 기반 탐지에 도움을 준다.
• 더 깊은 네트워크가 DN2 성능을 향상시키며; 최적 ROCAUC를 위해 일반적으로 두 이웃이 충분하다.
• 일부 자기지도 기반 기준선과 달리 DN2는 매우 작은 학습 세트에서도 효과적이다.
• 비지도 DN2 이전의 정리 단계가 학습 데이터의 오염으로 인한 성능 저하를 크게 완화한다.
• DN2는 그룹 특징을 평균 풀링한 후 DN2를 적용하는 방식으로 그룹 이상 탐지에서 탁월하며, 간단한 연결 기준선을 능가한다.