[논문 리뷰] DROCC: Deep Robust One-Class Classification

Sachin Goyal, Aditi Raghunathan외 3명|arXiv (Cornell University)|2020. 02. 28.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 7

한 줄 요약

DROCC는 정상 데이터가 저차원이고 국소적으로 선형인 다양체 위에 존재한다고 모델링하는 딥 로버스트 원클래스 분류 방법을 제안한다. 표현 붕괴를 방지하기 위해 경사 하강-상승 학습 기반의 훈련 방식을 사용하며, 이미지, 표준 데이터, 오디오, 시계열 데이터 등 다양한 분야에서 최신 기술 대비 최대 20% 향상된 이상 탐지 정확도를 달성한다. 특히 부족한 음성 데이터에서의 OOD 일반화 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Classical approaches for one-class problems such as one-class SVM and isolation forest require careful feature engineering when applied to structured domains like images. State-of-the-art methods aim to leverage deep learning to learn appropriate features via two main approaches. The first approach based on predicting transformations (Golan & El-Yaniv, 2018; Hendrycks et al., 2019a) while successful in some domains, crucially depends on an appropriate domain-specific set of transformations that are hard to obtain in general. The second approach of minimizing a classical one-class loss on the learned final layer representations, e.g., DeepSVDD (Ruff et al., 2018) suffers from the fundamental drawback of representation collapse. In this work, we propose Deep Robust One-Class Classification (DROCC) that is both applicable to most standard domains without requiring any side-information and robust to representation collapse. DROCC is based on the assumption that the points from the class of interest lie on a well-sampled, locally linear low dimensional manifold. Empirical evaluation demonstrates that DROCC is highly effective in two different one-class problem settings and on a range of real-world datasets across different domains: tabular data, images (CIFAR and ImageNet), audio, and time-series, offering up to 20% increase in accuracy over the state-of-the-art in anomaly detection. Code is available at https://github.com/microsoft/EdgeML.

연구 동기 및 목표

• DeepSVDD와 같은 방법에서 발생하는 표현 붕괴 문제를 해결하기 위해.
• 도메인 특화 변환 또는 보조 정보 없이도 이미지, 표준 데이터, 오디오, 시계열 데이터 등 다양한 도메인에서 효과적으로 작동하는 방법을 개발하기 위해.
• 소수의 음성 샘플이 존재하는 상황에서도 OOD 및 가까운 음성 샘플에 대한 일반화 성능을 향상시키기 위해.
• 단지 소수의 음성 샘플만 존재하는 상황에서도 정상 클래스를 잘 샘플링된 저차원 다양체로 모델링함으로써 강건한 원클래스 학습을 가능하게 하기 위해.

제안 방법

• DROCC는 정상 데이터가 저차원이고 국소적으로 선형인 다양체 위에 존재한다고 모델링하며, 잠재 공간 내 유클리드 거리를 사용해 이상치를 탐지한다.
• 훈련을 안장점 문제로 공식화하여, 정상 포인트에 대해 경사 하강, 그리고 인위적으로 생성된 이상 포인트에 대해 경사 상승을 수행한다.
• 이상 포인트는 분류기 손실에 대해 경사 상승을 통해 훈련 중에 적응적으로 생성되며, 도전적인 OOD 예제를 시뮬레이션한다.
• 이 방법은 딥 네ural 네트워크를 통해 표현을 학습하고, 정상 포인트와 적대적으로 생성된 이상 포인트를 구분하는 분류기를 사용한다.
• OCLN(소수의 음성 샘플이 존재하는 원클래스 분류) 설정을 위해 DROCC–LF는 내재된 데이터 구조를 더 잘 포착하기 위해 학습된 비대칭 거리 함수를 도입한다.
• 최적화는 표준 확률적 경사 하강법과 상승법을 사용하며, 계산 효율성을 향상시키기 위해 단순화된 프로젝션 세트를 적용한다.

실험 결과

연구 질문

• RQ1 히우리스틱 제약 조건에 의존하지 않고도 표현 붕괴에 강건한 딥 원클래스 분류기가 가능할 수 있는가?
• RQ2 소수의 음성 샘플만 존재하는 상황에서 OOD 및 가까운 음성 샘플에 대해 효과적으로 일반화할 수 있는가?
• RQ3 정상 데이터를 저차원 다양체로 모델링하면 다양한 데이터 유형에서 원클래스 분류의 일반화 성능이 향상되는가?
• RQ4 훈련 중에 이상 포인트를 적대적으로 생성함으로써 이상 탐지의 강건성과 정확도가 향상되는가?
• RQ5 워크워드 탐지와 같은 실제 환경에서 도전적인 OOD 입력이 존재할 경우, DROCC는 최신 기술 대비 어떻게 성능을 발휘하는가?

주요 결과

• DROCC는 CIFAR-10, ImageNet, 오디오 명령어 등 다양한 데이터셋에서 최신 기술 대비 이상 탐지 정확도를 최대 20% 향상시켰다.
• MNIST 0 대 1 이상 탐지 작업에서 DROCC–LF는 3%의 거짓 경고율에서 99.4%의 재현율을 달성했으며, DeepSAD(90.91%)와 BCE(54%)를 모두 능가했다.
• 오디오 명령어 데이터셋에서 OCLN 설정을 적용한 DROCC–LF는 3% 및 5% FPR에서 기존 기반 모델 대비 약 10% 향상된 재현율을 보였으며, 특히 'Marvin'과 'Seven'과 같은 키워드에서 두드러진 성능 향상을 보였다.
• 10차원 사인 파동 + 가우시안 데이터셋에서 DROCC–LF는 진짜 2차원 다양체를 정확히 식별했고, 표준 DROCC는 노이즈로 인해 실패함을 입증하며 학습된 거리 함수의 유용성을 보였다.
• DROCC–LF는 훈련 중에 볼 수 없었던 수동으로 합성된 가까운 음성 음성 샘플(예: 'Mar', 'Vin', 'Marvelous')에도 잘 일반화되어 OOD 변형에 대한 강건성을 입증했다.
• 모든 포인트를 하나의 점으로 매핑하는 것은 정상 포인트와 적대적으로 생성된 이상 포인트를 구분하지 못하므로, 표현 붕괴를 방지한다.