[논문 리뷰] Understanding Anomaly Detection with Deep Invertible Networks through Hierarchies of Distributions and Features

Robin Tibor Schirrmeister, Yuxuan Zhou외 2명|arXiv (Cornell University)|2020. 06. 18.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 31

한 줄 요약

본 논문은 가역 생성 모델을 이용한 가능도 기반 이상 탐지가 저수준 특징에 의해 편향되는 원인을 분석하고, 분포 간 가능도 비율과 최종 스케일 가능도 기여를 활용한 두 가지 계층적 탐지 방법을 제안하며, 강한 비지도 성능과 경쟁력 있는 지도 학습 결과를 보인다.

ABSTRACT

Deep generative networks trained via maximum likelihood on a natural image dataset like CIFAR10 often assign high likelihoods to images from datasets with different objects (e.g., SVHN). We refine previous investigations of this failure at anomaly detection for invertible generative networks and provide a clear explanation of it as a combination of model bias and domain prior: Convolutional networks learn similar low-level feature distributions when trained on any natural image dataset and these low-level features dominate the likelihood. Hence, when the discriminative features between inliers and outliers are on a high-level, e.g., object shapes, anomaly detection becomes particularly challenging. To remove the negative impact of model bias and domain prior on detecting high-level differences, we propose two methods, first, using the log likelihood ratios of two identical models, one trained on the in-distribution data (e.g., CIFAR10) and the other one on a more general distribution of images (e.g., 80 Million Tiny Images). We also derive a novel outlier loss for the in-distribution network on samples from the more general distribution to further improve the performance. Secondly, using a multi-scale model like Glow, we show that low-level features are mainly captured at early scales. Therefore, using only the likelihood contribution of the final scale performs remarkably well for detecting high-level feature differences of the out-of-distribution and the in-distribution. This method is especially useful if one does not have access to a suitable general distribution. Overall, our methods achieve strong anomaly detection performance in the unsupervised setting, and only slightly underperform state-of-the-art classifier-based methods in the supervised setting. Code can be found at https://github.com/boschresearch/hierarchical_anomaly_detection.

연구 동기 및 목표

• 깊은 생성 네트워크가 도메인 선행지식과 저수준 특징 지배로 인해 이상치를 잘못 식별하는 이유를 설명한다.
• 계층적 분포와 계층적 특징을 이용한 모델 편향 완화 방법을 제안한다.
• 이미지 데이터셋에서 비지도 및 지도 설정에서의 이상 탐지 성능을 보여준다.
• 계층적 이상 탐지를 위한 실용적인 지침과 코드를 제공한다.
• 비이미지 도메인(의료 MRI)으로 분석을 확장하고 wider한 영향을 논의한다.

제안 방법

• 자연 이미지에서 maximum likelihood로 학습된 Glow/가역 네트워크의 기본 사용.
• 계층-분포를 제안: 분포 내 모델 p_in과 일반 분포 모델 p_g를 로그 가능도 비율로 비교하여 이상점수로 사용.
• 일반 분포 샘플에 대한 로그 가능도 비율을 활용한 outlier 손실 L_o를 도출하여 학습을 개선.
• 계층-특징 활용: 최종 스케일 가능도 기여 c_3(x)가 우세하며 이상 점수로 사용할 수 있음을 보인다.
• 클래스 조건부 분포를 가지는 지도 설정으로 확장하고 다른 클래스의 음수 샘플을 활용.
• 일반 분포가 없을 때도 최종 스케일 가능도가 효과적임을 시연한다.

실험 결과

연구 질문

• RQ1 깊은 생성 모델을 이용한 가능도 기반 이상 탐지기가 자연 이미지에서 학습될 때 왜 종종 이상치를 잘못 순위 매기는가?
• RQ2 분포의 계층과 특징의 계층이 모델 편향을 설명하고 완화할 수 있는가?
• RQ3 특정 분포 모델과 일반 분포 모델 간의 로그 가능도 비율이 비지도 이상 탐지 성능을 데이터셋 전반에서 향상시키는가?
• RQ4 고가능도 일반 분포 샘플로 모델을 고르게 편향시키지 않도록 Outlier 손실이 이상 탐지 성능을 더 향상시키는가?
• RQ5 최종 스케일(고수준) 가능도 기여는 모델과 데이터셋 전반에서 어떻게 작용하며, 견고한 이상 점수로 작용할 수 있는가?

주요 결과

• 저수준의 도메인 선행 특징이 컨볼루션 Glow 모델의 가능도에 지배적이며, 고수준 이상 탐지의 한계를 형성한다.
• 완전 연결 Glow 상관의 가능도는 모델이 저수준 특징에 편향되어 있음을 시사한다.
• 계층-분포를 활용한 로그-가능도-비율 이상 탐지 점수는 원시 가능도보다 종종 우월하게 작동한다.
• 일반 분포 샘플을 사용하는 Outlier 손실은 비지도 이상 탐지 성능을 일관되게 향상시킨다.
• 마지막 스케일 가능도 기여(z_3)를 사용하면 일반 분포 데이터가 없을 때도 강한 이상 신호를 제공한다.
• 지도 설정에서 클래스 조건부 모델과 Outlier 샘플이 결합될 때 지도 기반 최첨단 분류기 접근법에 근접하는 경쟁력을 보인다.