[논문 리뷰] What is Wrong with One-Class Anomaly Detection?

Junekyu Park, Jeong-Hyeon Moon외 2명|arXiv (Cornell University)|2021. 04. 20.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 일종의 이상 탐지에서 심각한 결함을 규명한다: 기존 방법들은 정상 데이터에 다양한 의미적 클래스가 포함되어 있을 경우 결함이 발생하여 결정 경계가 너무 느슨해진다. 이를 해결하기 위해 저자는 잠재된 클래스 정보를 비지도 클러스터링과 가짜 레이블링을 통해 활용하는 신뢰도 기반 자기 레이블링 프레임워크인 CLAD를 제안한다. 이는 다중 클래스 정상 상황에서 이전의 일종 이상 탐지 방법보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

From a safety perspective, a machine learning method embedded in real-world applications is required to distinguish irregular situations. For this reason, there has been a growing interest in the anomaly detection (AD) task. Since we cannot observe abnormal samples for most of the cases, recent AD methods attempt to formulate it as a task of classifying whether the sample is normal or not. However, they potentially fail when the given normal samples are inherited from diverse semantic labels. To tackle this problem, we introduce a latent class-condition-based AD scenario. In addition, we propose a confidence-based self-labeling AD framework tailored to our proposed scenario. Since our method leverages the hidden class information, it successfully avoids generating the undesirable loose decision region that one-class methods suffer. Our proposed framework outperforms the recent one-class AD methods in the latent multi-class scenarios.

연구 동기 및 목표

• 정상 데이터에 다양한 의미적 클래스가 포함되어 있을 경우 일종 이상 탐지의 근본적 한계를 규명하는 것.
• 정상 데이터에 여러 숨겨진 의미적 클래스가 포함된 현실적인 잠재 클래스 조건 기반 이상 탐지 시나리오를 제안하는 것.
• 지상 진실 레이블이 필요 없이 잠재된 클래스 정보를 활용하는 자기 지도 프레임워크를 개발하는 것.
• 이상 레이블이 없을 때 의미 인식 가능한 결정 경계를 가능하게 함으로써 지도 학습과 비지도 학습 이상 탐지 간 격차를 메우는 것.
• 잠재된 클래스 구조를 학습하는 것이 표준 일종 이상 탐지 방법보다 이상 탐지 성능을 향상시킨다는 것을 입증하는 것.

제안 방법

• 대조적 학습(예: SimCLR)을 통해 훈련된 자기 지도 특징 인코더를 사용하여 의미 있는 잠재 표현을 추출한다.
• 잠재 특징에 대해 딥 임베딩 클러스터링(DEC) 알고리즘을 적용하여 클러스터링하고 정상 샘플에 가짜 레이블을 할당한다.
• 이러한 가짜 레이블이 부여된 정상 샘플을 기반으로 감독 학습 방식으로 분류기(ResNet-18)를 훈련시켜 클래스 인식 표현을 학습한다.
• 추론 시, 온도 스케일링과 입력 변형을 사용한 신뢰도 기반 이상 탐지(ODIN)를 적용하여 이상을 탐지한다.
• 잠재적 의미적 지도를 통해 각 클래스별로 날렵한 경계를 학습함으로써 느슨한 결정 경계 문제를 피한다.
• 대조적 사전 훈련, 기반 클러스터링의 자기 레이블링, 감독 분류를 포함한 전체 파이프라인을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 왜 표준 일종 이상 탐지 방법은 정상 데이터에 여러 의미적 클래스가 포함되어 있을 경우 실패하는가?
• RQ2 지상 진실 레이블에 접근할 수 없을 때도 잠재된 클래스 정보를 이상 탐지에서 효과적으로 활용할 수 있는가?
• RQ3 클러스터링 기반 자기 레이블링 프레임워크는 일종 이상 탐지에서 결정 경계의 날렵함과 탐지 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 다중 클래스 정상 상황에서 최신 기술(SOTA) 일종 이상 탐지 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 온도 스케일링과 입력 변형을 통한 신뢰도 기반 추론은 제안된 프레임워크에서 이상 탐지 성능을 향상시키는가?

주요 결과

• 제안된 CLAD 프레임워크는 잠재적인 다중 클래스 시나리오에서 최근의 일종 이상 탐지 방법보다 뚜렷하게 뛰어난 성능을 보이며, 특히 MNIST-Mixed와 같은 도전적인 케이스에서 두각을 나타낸다.
• 모든 데이터셋(MNIST, GTSRB, CIFAR-10, Tiny-ImageNet)에서 기준 일종 이상 탐지 방법보다 높은 AUC 점수를 달성한다.
• 자기 레이블링된 가짜 클래스의 사용은 모델이 더 날렵하고 클래스 기반의 결정 경계를 학습하게 하여 느슨한 커버리지로 인한 거짓 음성(false negatives)을 줄인다.
• 절단 분석을 통해 클러스터링을 통한 자기 레이블링이 성능 향상에 필수적임을 확인하였으며, 이를 제거하면 성능이 기준 수준으로 악화된다.
• 추론 단계에서의 온도 스케일링과 입력 변형은 탐지 신뢰도와 AUC를 추가로 향상시켜 ODIN 기반의 신뢰도 校정의 효과성을 입증한다.
• 이 프레임워크는 다양한 데이터셋에 대해 잘 일반화되며, 이질적인 정상 클래스를 포함한 실제 세계 시나리오에서도 강건함을 보여준다.