[논문 리뷰] Novelty Detection Via Blurring

Sungik Choi, Sae-Young Chung|arXiv (Cornell University)|2019. 11. 27.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 13

한 줄 요약

이 논문은 특이값 분해(SVD)를 통해 생성된 흐린 이미지를 사용하여 Random Network Distillation(RND)을 향상시켜, 분포 외(out-of-distribution, OOD) 탐지 성능을 향상시키는 SVD-RND라는 새로운 OOD 탐지 방법을 제안한다. 훈련 중에 흐린 데이터를 적대적 예시로 활용함으로써, SVD-RND는 저질서 OOD 입력에 대해 강건성을 확보하며, CIFAR-10 대 SVHN과 같은 도전적인 벤치마크에서 90% 이상의 탐지 정확도를 달성하고, 기하학적 변환과 조합할 경우 CelebA에서 near-perfect 성능(AUROC > 0.997)을 기록한다.

ABSTRACT

Conventional out-of-distribution (OOD) detection schemes based on variational autoencoder or Random Network Distillation (RND) have been observed to assign lower uncertainty to the OOD than the target distribution. In this work, we discover that such conventional novelty detection schemes are also vulnerable to the blurred images. Based on the observation, we construct a novel RND-based OOD detector, SVD-RND, that utilizes blurred images during training. Our detector is simple, efficient at test time, and outperforms baseline OOD detectors in various domains. Further results show that SVD-RND learns better target distribution representation than the baseline RND algorithm. Finally, SVD-RND combined with geometric transform achieves near-perfect detection accuracy on the CelebA dataset.

연구 동기 및 목표

• 기존 OOD 탐지기법이 흐릿하고 저질서인 이미지에 취약하여 이를 내분포(in-distribution)로 잘못 분류하는 문제를 해결하기 위해.
• 흐린 데이터를 적대적 훈련 예시로 활용하여 RND 기반 OOD 탐지기의 강건성을 향상시키기 위해.
• 외부 OOD 데이터나 검증 세트가 필요 없이, 단순하고 효율적이며 자기지도(self-supervised) 방식의 방법을 개발하기 위해.
• 다양한 유효 질서(effective rank)를 가진 데이터에 노출시킴으로써 타겟 분포의 표현 학습을 향상시키기 위해.

제안 방법

• SVD-RND는 원본 이미지와 그 SVD로 블러 처리된 복제본을 구분할 수 있도록 예측 네트워크를 훈련시키는 RND 기반 OOD 탐지기이다.
• 입력 이미지의 SVD에서 특이값을 잘라내어 블러 처리된 이미지를 생성하며, 유지하는 성분의 수를 조절하여 유효 질서를 제어한다.
• 훈련 목표는 블러 처리된 이미지에서의 예측 오차를 최소화하는 것으로, 네트워크가 저질서 훼손에 강인한 표현을 학습하도록 유도한다.
• 다양한 블러 수준을 생성하기 위해 목표 로그 유효 질서의 범위에서 균일한 샘플링 전략을 사용하여 일반화 성능을 향상시킨다.
• SVD-RND는 기하학적 변환(회전, 수직 이동)과 조합되어 SVD-ROT-RND와 SVD-VER-RND로 더욱 향상된다.
• 이 방법은 자기지도 방식이며, 레이블이 부여된 OOD 데이터나 하이퍼파라미터 튜닝을 위한 검증 세트가 필요하지 않다.

실험 결과

연구 질문

• RQ1 SVD를 통해 생성된 흐린 이미지는 기존 OOD 탐지 모델의 취약점을 드러내는 효과적인 적대적 예시가 될 수 있는가?
• RQ2 RND 기반 탐지기를 블러 처리된 이미지로 훈련시키면 저질서 분포의 OOD 샘플 탐지 능력이 향상되는가?
• RQ3 외부 OOD 데이터나 검증 세트 없이도 SVD-RND가 최신 기준 성능을 달성할 수 있는가?
• RQ4 CIFAR-10 대 SVHN 및 ImageNet 대 CIFAR-10과 같은 도전적인 벤치마크에서 SVD-RND는 기존 기준 모델보다 어떻게 비교되는가?
• RQ5 SVD-RND에 기하학적 데이터 증강을 조합하면 OOD 탐지 성능이 추가로 향상되는가?

주요 결과

• CIFAR-10 대 SVHN에서 SVD-RND는 AUROC 0.967을 기록하며, 기준 RND 및 기타 방법보다 뚜렷이 뛰어난 성능을 보였다.
• CelebA 데이터셋에서는 SVD-ROT-RND가 AUROC 0.997을 달성하여 거의 완벽한 OOD 탐지 성능을 입증했다.
• 검증용 OOD 데이터에 접근할 수 없는 상황에서도, 균일한 블러 수준 스케줄링을 사용한 SVD-RND는 최적화된 버전과 유사한 성능을 기록했다.
• SVD-RND에 회전 및 수직 이동 변환을 조합한 SVD-ROT-RND와 SVD-VER-RND는 단독 SVD-RND보다 상당한 성능 향상을 보였다.
• 일반화 능력과 강건성의 향상으로 인해, SVD-RND는 표준 RND보다 타겟 분포의 표현을 더 잘 학습한다.
• 이미 도전적이었던 벤치마크인 CIFAR-10 대 SVHN에서 SVD-RND는 기존 기준 모델이 약 50% 정확도를 기록하는 데서는 90% 이상의 탐지 정확도를 달성했다.