[논문 리뷰] Do We Really Need to Learn Representations from In-domain Data for Outlier Detection?

Zhisheng Xiao, Qing Yan외 1명|arXiv (Cornell University)|2021. 05. 19.

Anomaly Detection Techniques and Applications참고 문헌 84인용 수 6

한 줄 요약

이 논문은 사전 훈련된 ImageNet 표현—특히 자기지도 학습에서 유도된 표현—이 도메인 내 데이터에 대한 미세조정 없이도 이상치 탐지에 대한 보편적인 특징 추출기로 기능할 수 있음을 보여준다. 단일 사전 훈련된 네트워크와 특징 공간에서 마할라노비스 거리와 같은 단순한 파arametric 검출기만을 사용하여, 다양한 벤치마크에서 경쟁력 있거나 뛰어난 성능을 달성하며, 과제에 특화된 표현 학습의 필요성을 도전한다.

ABSTRACT

Unsupervised outlier detection, which predicts if a test sample is an outlier or not using only the information from unlabelled inlier data, is an important but challenging task. Recently, methods based on the two-stage framework achieve state-of-the-art performance on this task. The framework leverages self-supervised representation learning algorithms to train a feature extractor on inlier data, and applies a simple outlier detector in the feature space. In this paper, we explore the possibility of avoiding the high cost of training a distinct representation for each outlier detection task, and instead using a single pre-trained network as the universal feature extractor regardless of the source of in-domain data. In particular, we replace the task-specific feature extractor by one network pre-trained on ImageNet with a self-supervised loss. In experiments, we demonstrate competitive or better performance on a variety of outlier detection benchmarks compared with previous two-stage methods, suggesting that learning representations from in-domain data may be unnecessary for outlier detection.

연구 동기 및 목표

• 도메인 내 데이터로부터 과제에 특화된 표현을 학습하는 것이 효과적인 비지도 이상치 탐지에 실제로 필수적인가를 조사하는 것.
• 도메인 내 분포 데이터에 대한 적응 없이도 다양한 이상치 탐지 벤치마크에서 보편적인 특징 추출기—ImageNet에서 사전 훈련된 것—의 성능을 평가하는 것.
• 과도한 도메인 내 표현 학습 없이도 비용이 들지 않는 간단한 기준 성능을 수립하는 것.
• 사전 훈련된 특징을 사용할 때 입력 전처리 및 특징 공간 이상치 검출 방법의 영향을 평가하는 것.

제안 방법

• 자기지도 대비 학습을 통해 ImageNet에서 훈련된 단일 사전 훈련된 깊은 신경망(예: MoCo, SimCLR)을 보편적인 특징 추출기로 사용한다.
• 도메인 내 데이터 소스에 관계없이, 어떤 미세조정 없이도 입력 이미지에 고정된 사전 훈련된 특징 추출기를 적용한다.
• ImageNet 입력 치수에 맞추기 위해 이차적 보간(32×32에서 224×224로)을 포함한 입력 전처리를 수행하며, 보간 방법에 대한 분석을 실시한다.
• 특징 공간에서 공분산 행렬을 연결하여 사용하는 마할라노비스 거리 기반 이상치 검출기를 적용하며, 성능과 효율성의 균형을 고려해 선택한다.
• 입력 노이즈(ε=0.01)와 검출기 초모수에 대한 분석을 수행하지만, 추론 비용 상승으로 인해 메인 결과에서는 노이즈를 배제한다.
• 다양한 벤치마크(예: CIFAR-10, SVHN, Tiny ImageNet)에서 표준 이상치 탐지 지표(AUROC)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 도메인 내 데이터에 대한 미세조정 없이도 사전 훈련된 ImageNet 표현이 경쟁적인 이상치 탐지 성능을 달성할 수 있는가?
• RQ2 도메인 내 표현 학습이 필요한 상태의 최첨단 이중 단계 방법과 비교해 볼 때, 보편적인 사전 훈련된 특징 추출기의 성능는 어떠한가?
• RQ3 사전 훈련된 특징을 사용할 때 입력 전처리(예: 보간 방법)가 최종 이상치 탐지 성능에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 특징을 사용할 때 특징 공간에서의 이상치 검출기 선택(예: 파arametric 대비 비파arametric)이 성능에 영향을 미치는가?
• RQ5 추론 중에 입력을 노이즈 처리하는 것이 성능 향상에 기여하는가? 그리고 계산 비용 증가의 상충 관계를 감안할 때 그 사용이 타당한가?

주요 결과

• 제안된 방법은 도메인 내 데이터에 대한 훈련 없이도 여러 이상치 탐지 벤치마크에서 최첨단 또는 경쟁 가능한 AUROC 점수를 달성한다.
• 이차적 보간을 최근접 이웃 보간 대신 사용할 경우 AUROC가 80.7%에서 92.6%로 향상되어 전처리 품질의 중요성을 입증한다.
• 공분산 행렬을 연결한 마할라노비스 거리 검출기가 분석에서 최고의 AUROC 92.6%를 기록하며, 비파arametric 및 별도 공분산 버전을 모두 앞서며 성능이 뛰어나다.
• 입력 노이즈(ε=0.01) 적용으로 AUROC가 93.7%로 향상되나, 추론 비용 증가로 인해 메인 결과에서는 사용하지 않아, 효율성의 손실를 감수하고도 성능 향상 가능성을 시사한다.
• 비용이 많이 들지 않는 도메인 내 표현 학습이 필요한 최첨단 이중 단계 방법보다도 성능이 뛰어나거나 동등하여, 도메인 특화 표현 학습이 실제로 필요하지 않을 수 있음을 시사한다.
• ImageNet에서 사전 훈련된 특징의 간결한 구조는 단순한 파arametric 검출기로도 효과적인 모델링을 가능하게 하며, 이러한 특징들이 분류에 유용한 저차원의 내재된 구조를 잘 포착하고 있음을 시사한다.