[논문 리뷰] CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances

Jihoon Tack, Sangwoo Mo외 2명|arXiv (Cornell University)|2020. 07. 16.

Anomaly Detection Techniques and Applications참고 문헌 79인용 수 230

한 줄 요약

CSI는 대조 학습에서 대조적으로 이동된 인스턴스를 도입하여 신규성(OOD) 탐지와 신뢰도 보정을 향상시키고, 단일 클래스, 다중 클래스 및 감독 설정 전반에서 최첨단 성능을 달성한다.

ABSTRACT

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

연구 동기 및 목표

• 인-디스트리뷰션 데이터만 이용 가능할 때 강건한 OOD/novelty 탐지를 촉진한다.
• in-distribution 대 out-of-distribution 구분에 맞춘 판별 가능한 표현을 학습한다.
• CSI-학습 표현을 활용하는 탐지 점수를 개발한다.
• 감독 설정에서 신뢰도 보정된 분류기를 학습하도록 CSI를 확장한다.

제안 방법

• SimCLR-스타일 대조 학습을 베이스로 사용한다.
• 분포 이동 증강을 네거티브로 간주하여 contrasting shifted instances (con-SI)를 도입한다.
• 적용된 시프트 변환을 분류하는 보조 작업(cls-SI)을 추가한다.
• 결합된 CSI 목적어로 학습한다: L_CSI = L_con-SI + lambda * L_cls-SI (lambda = 1).
• 표현 기반 특징(cosine similarity, norm)과 이동 인스턴스 정보(s_con-SI, s_cls-SI)를 결합한 OOD 탐지 점수를 정의한다.
• 선택적으로 임의의 증강 T(x)에 대한 스코어를 앙상블하여 s_CSI-ens를 얻는다.

실험 결과

연구 질문

• RQ1 대조 학습을 이용하여 외부 분포 샘플의 탐지 성능을 높이는 표현을 어떻게 학습할 수 있을까?
• RQ2 분포 이동 증강이 OOD 탐지에 유의미한 네거티브로 작용할 수 있을까?
• RQ3 어떤 스코어 함수가 CSI 표현을 OOD 탐지 및 보정에 가장 잘 활용할까?
• RQ4 CSI가 감독 설정에서 신뢰도 보정된 분류기로 확장될 수 있을까?
• RQ5 어떤 시프트 변환(예: 회전, 가우시안 잡음)이 데이터 세트 간 OOD 탐지 성능을 최대로 높일까?

주요 결과

• CSI는 단일 클래스 CIFAR-10, CIFAR-100, 및 ImageNet-30에서 다수의 OOD 설정에 대해 베이스라인보다 더 나은 성능을 보인다.
• 분포 이동 변환을 네거티브로 사용하는(con-SI)은 표준 표현이 분류용으로 변하지 않아도 OOD 탐지를 크게 향상시킨다.
• 보조 시프트 인스턴스 분류기(cls-SI)와 결합된 CSI 점수(s_CSI)는 기본 대비 방법보다 더 강한 OOD 점수를 산출한다.
• 시프트와 증강을 통해 CSI 점수를 앙상블하면 AUROC 및 보정 지표가 추가로 향상된다.
• 감독 설정에서 CSI-ens는 AUROC를 개선하고 기대 보정 오차(ECE)를 감소시키면서 정확도를 유지하거나 향상시킨다.