[논문 리뷰] Unsupervised Out-of-Distribution Detection by Maximum Classifier Discrepancy

Qing Yu, Kiyoharu Aizawa|arXiv (Cornell University)|2019. 08. 14.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 10

한 줄 요약

이 논문은 공유된 특징 추출기와 두 개의 별도 분류기로 구성된 이중 헤드 딥 CNN을 사용하여 비지도(out-of-distribution, OOD) 탐지 방법을 제안한다. 라벨이 없는 내재적 분포(in-distribution, ID) 및 외재적 분포(out-of-distribution, OOD) 데이터에서 두 분류기의 출력 간 이질성을 최대화함으로써, OOD 샘플을 내재적 분포의 다양체(manifold)에서 효과적으로 분리한다. 이는 라벨이 부여된 OOD 데이터가 필요로 하지 않으며, 여러 벤치마크와 실제 시뮬레이션에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Since deep learning models have been implemented in many commercial applications, it is important to detect out-of-distribution (OOD) inputs correctly to maintain the performance of the models, ensure the quality of the collected data, and prevent the applications from being used for other-than-intended purposes. In this work, we propose a two-head deep convolutional neural network (CNN) and maximize the discrepancy between the two classifiers to detect OOD inputs. We train a two-head CNN consisting of one common feature extractor and two classifiers which have different decision boundaries but can classify in-distribution (ID) samples correctly. Unlike previous methods, we also utilize unlabeled data for unsupervised training and we use these unlabeled data to maximize the discrepancy between the decision boundaries of two classifiers to push OOD samples outside the manifold of the in-distribution (ID) samples, which enables us to detect OOD samples that are far from the support of the ID samples. Overall, our approach significantly outperforms other state-of-the-art methods on several OOD detection benchmarks and two cases of real-world simulation.

연구 동기 및 목표

• OOD 샘플이 흔하고 라벨이 없는 실세계 딥 러닝 응용 프로그램에서 OOD 입력을 탐지하는 문제를 해결하기 위해.
• 기존 방법이 신뢰도 점수의 겹침으로 인해 실패하는 고클래스 내재적 분포 상황(예: CIFAR-100)에서 OOD 탐지 성능을 향상시키기 위해.
• 라벨이 부여된 OOD 데이터가 필요로 하지 않아 실세계 시스템에서 라벨이 제한되거나 없을 경우에도 실용적으로 구현 가능한 방법을 개발하기 위해.
• FOOD-101 및 DeepFashion과 같은 다양한 아키텍처와 실세계 시뮬레이션 데이터셋에서의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 공통된 특징 추출기를 공유하지만 서로 다른 결정 경계를 가진 두 개의 별도 분류기를 사용하는 이중 헤드 딥 컨volution 네트워크(CNN)를 사용한다.
• 라벨이 부여된 내재적 분포(ID) 데이터와 라벨이 없는 데이터(내재적 분포 및 외재적 분포 샘플을 모두 포함)만을 사용하여 모델을 훈련하며, OOD 라벨이 필요로 하지 않는다.
• 라벨이 없는 데이터에서 두 분류기의 예측 간 이질성을 최대화하는 이질성 손실을 도입하여, OOD 샘플이 두 결정 경계 사이의 간극으로 밀려나도록 유도한다.
• 라벨이 있는 ID 데이터에 대한 표준 크로스 엔트로피 손실과 라벨이 없는 데이터에 대한 이질성 손실을 결합한 훈련 목표를 설정하여, 정확한 ID 분류와 OOD 분리의 최적화를 동시에 수행한다.
• 표준 아키텍처인 DenseNet 및 Wide ResNet과 호환되며, 아키텍처 수정 없이도 어떤 DNN에나 적용 가능하다.
• 최종적으로 두 분류기의 출력 간 불일치(이질성)를 측정하여 OOD 탐지를 수행하며, 높은 불일치는 OOD 입력을 나타낸다.

실험 결과

연구 질문

• RQ1 내재적 분포 및 외재적 분포에서 온 라벨이 없는 데이터가 OOD 라벨이 필요 없이 비지도 OOD 탐지 성능을 향상시키는가?
• RQ2 특히 고클래스 ID 환경에서 OOD 샘플을 내재적 분포 다양체에서 분리하기 위해 분류기 이질성을 최대화하는 것이 얼마나 효과적인가?
• RQ3 제안된 방법이 음식 및 패션 인식과 같은 다양한 네트워크 아키텍처와 실세계 응용 분야에서 일반화되는가?
• RQ4 라벨이 없는 데이터의 크기와 구성이 OOD 탐지 시스템의 강건성과 성능에 미치는 영향은 어떠한가?
• RQ5 신뢰도 기반 방법과 비교해 둘의 분류기 간 이질성이 신뢰할 만하고 효과적인 OOD 탐지 신호가 될 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-100 vs. TinyImageNet 및 CIFAR-100 vs. iSUN을 포함한 모든 테스트 벤치마크에서 최신 기술 수준의 방법들인 ODIN 및 ELOC보다 뚜렷이 뛰어난 성능을 보였다.
• ID로 FOOD-101, OOD로 TinyImageNet-crop 또는 LSUN-crop를 사용한 경우, 몇 가지 설정에서 AUROC 값이 0.99를 초과하여 거의 완벽한 탐지 성능을 달성했다.
• 라벨이 없는 데이터 세트에 ID 샘플 9,000개 중 오직 500개의 OOD 샘플만 포함된 경우에도 강건한 성능 유지를 보였으며, 불균형한 라벨이 없는 데이터에 대한 강건성을 입증했다.
• 내재적 분포 샘플에 대해서는 이질성 손실이 항상 외재적 분포 샘플보다 낮았으며, 간극이 클수록 탐지 오차가 낮아지는 경향을 보여, 방법의 핵심 메커니즘이 확인되었다.
• FOOD-101 및 DeepFashion를 사용한 실세계 시뮬레이션에서, ODIN 및 ELOC보다 뛰어난 AUROC 점수를 기록했으며, 다양한 OOD 데이터셋 간에 성능 저하가 최소화되었다.
• 제거 실험을 통해 라벨이 없는 데이터의 크기와 구성에 대한 변동에도 불구하고 방법이 강건함을 확인했으며, 훈련에 사용된 OOD 데이터와 평가에 사용된 OOD 데이터가 다를 경우에도 성능 저하가 거의 없었다.