[논문 리뷰] Metric Learning for Novelty and Anomaly Detection

Marc Masana, Idoia Ruiz외 3명|arXiv (Cornell University)|2018. 08. 16.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 51

한 줄 요약

본 논문은 out-of-distribution 탐지에 대한 metric-learning 접근법을 제안하고, novelty와 anomaly를 구분하며, traffic sign recognition을 포함한 여러 벤치마크에서 cross-entropy 방법과 경쟁력 있는 결과를 보인다.

ABSTRACT

When neural networks process images which do not resemble the distribution seen during training, so called out-of-distribution images, they often make wrong predictions, and do so too confidently. The capability to detect out-of-distribution images is therefore crucial for many real-world applications. We divide out-of-distribution detection between novelty detection ---images of classes which are not in the training set but are related to those---, and anomaly detection ---images with classes which are unrelated to the training set. By related we mean they contain the same type of objects, like digits in MNIST and SVHN. Most existing work has focused on anomaly detection, and has addressed this problem considering networks trained with the cross-entropy loss. Differently from them, we propose to use metric learning which does not have the drawback of the softmax layer (inherent to cross-entropy methods), which forces the network to divide its prediction power over the learned classes. We perform extensive experiments and evaluate both novelty and anomaly detection, even in a relevant application such as traffic sign recognition, obtaining comparable or better results than previous works.

연구 동기 및 목표

• 신경망에서 out-of-distribution 입력을 탐지하는 것의 중요성을 강조한다.
• OOD 탐지에서 novelty(관련된 보이지 않는 클래스)와 anomaly(관련 없는 데이터)를 구분한다.
• Cross-entropy의 softmax 기반 신뢰도 함정을 피하는 metric-learning 프레임워크를 제안한다.
• 임베딩 기반 접근법이 강력한 novelty 및 anomaly 탐지 성능을 낼 수 있음을 보인다.
• 실제 세계의 traffic sign recognition에 이 방법을 적용하여 실용적 성능을 검증한다.

제안 방법

• 유클리드 거리로 out-of-distribution 가능성을 측정하는 임베딩을 제시한다.
• 같은 클래스 샘플은 모으고 서로 다른 클래스 샘플은 멀어지도록 하는 metric learning 손실(contrastive loss)을 사용한다.
• 훈련 중에 seen/unseen out-of-distribution 데이터를 포함시켜 out-of-distribution mining(ODM)을 손실에 확장한다.
• 시암쟈(Siamese) 아키텍처 없이 임베딩 쌍을 효율적으로 확보하기 위해 single-branch 네트워크를 사용한다.
• ML(metric learning)과 ODM(out-of-distribution mining)을 cross-entropy 베이스라인 및 최첨단 방법들(CC-AG, ODIN)과 비교한다.

실험 결과

연구 질문

• RQ1 softmax 기반 분류기와 비교하여 metric-learning 임베딩이 novelty 및 anomaly 탐지 성능을 향상시킬 수 있는가?
• RQ2 임베딩 공간에서 novelty와 anomaly의 OOD 샘플은 어떻게 다른가, 그리고 ODM이 이 분리에 어떤 영향을 미치는가?
• RQ3 훈련 중에 seen out-of-distribution 데이터를 포함시키는 것이 novelty와 anomaly 모두의 탐지 성능을 향상시키는가?
• RQ4 제안된 ODM 접근법이 표준 벤치마크(SVHN, CIFAR-10)와 실제 작업(traffic signs)에서 효과적인가?

주요 결과

• Metric learning은 인-디스트리뷰션 샘플이 클래스별로 클러스터링되고, out-of-distribution 샘플이 이러한 클러스터로부터 벗어나 위치하도록 하는 임베딩을 생성한다.
• Out-of-distribution mining(ODM)은 인-디스트리뷰션과 아웃-오브-디스트리뷰션 샘플 간의 분리를 더욱 개선하여 탐지를 돕는다.
• Cross-entropy 기반 방법과 비교하여 metric learning 접근법은 novelty와 anomaly 처리를 더 잘 보여주며, 보이지 않는 데이터가 자신 있게 잘못 분류되는 것을 방지하는 개선이 있다.
• traffic sign recognition에서 ODM은 합리적인 인-디스트리뷰션 분류 성능을 유지하면서 경쟁력 있는 novelty 및 anomaly 탐지를 달성한다.
• 결과는 out-of-distribution 데이터에서 novelty와 anomaly 사이에 연속성이 있음을 시사하며, anomaly 탐지가 novelty 탐지보다 더 쉽다.