[논문 리뷰] Elsa: Energy-based learning for semi-supervised anomaly detection

Sungwon Han, Hyeonho Song외 3명|arXiv (Cornell University)|2021. 03. 29.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 6

한 줄 요약

엘사(Elsa)는 데이터 오염에 대해 강건성을 향상시키기 위해 비지도 대비 학습과 프로토타입 기반 에너지 함수를 통합하는 새로운 준지도 학습 이상 탐지 방법을 제안한다. 학습 데이터에 알려지지 않은 이상치가 포함되어 있어도, 학습된 프로토타입과의余弦 유사도로부터 유도된 에너지 스코어를 이용해 임베딩을 피지테이닝함으로써 엘사(Elsa)는 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Anomaly detection aims at identifying deviant instances from the normal data distribution. Many advances have been made in the field, including the innovative use of unsupervised contrastive learning. However, existing methods generally assume clean training data and are limited when the data contain unknown anomalies. This paper presents Elsa, a novel semi-supervised anomaly detection approach that unifies the concept of energy-based models with unsupervised contrastive learning. Elsa instills robustness against any data contamination by a carefully designed fine-tuning step based on the new energy function that forces the normal data to be divided into classes of prototypes. Experiments on multiple contamination scenarios show the proposed model achieves SOTA performance. Extensive analyses also verify the contribution of each component in the proposed model. Beyond the experiments, we also offer a theoretical interpretation of why contrastive learning alone cannot detect anomalies under data contamination.

연구 동기 및 목표

• 학습 데이터에 알려지지 않은 이상치가 포함되어 있을 경우, 표준 대비 학습 기반 이상 탐지에서의 한계를 해결하기 위해.
• 비지도 대비 사전 학습과 준지도 에너지 기반 미세조정을 통합하는 통합 프레임워크를 개발하기 위해.
• 프로토타입 기반 에너지 스코링을 통해 정규 데이터 분포를 체계적으로 학습함으로써 모델의 강건성을 향상시키기 위해.
• 소량의 정규/OOD 레이블을 활용하여 최소한의 레이블 데이터로도 효과적인 이상 탐지가 가능하도록 하기 위해.
• 에너지 모델 관점에서 표준 대비 학습이 데이터 오염 상황에서 실패하는 이유에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 증강된 데이터를 기반으로 대비 학습을 사용해 특징 인코더를 사전 학습하여 일반화 가능한 표현을 학습하기 위해.
• 입력 임베딩과 학습된 프로토타입 벡터 간의 여론 유사도를 기반으로 정규성을 모델링하는 에너지 함수를 정의하기 위해.
• 분류기적 분류기로 로그릿을 계산하여 에너지 스코어를 산출하며, 낮은 에너지가 정규성을, 높은 에너지가 이상을 나타냄.
• 이상 샘플에 대해 에너지의 역수를 최대화하고 정규 샘플에 대해 에너지를 최소화하는 새로운 손실 함수를 사용해 모델을 미세조정하기 위해.
• 지표 클래스 레이블이 필요 없이도 정규 데이터 내의 내부 클래스 다양성을 포괄할 수 있는 프로토타입 기반 메커니즘을 도입하기 위해.
• 원본 샘플과 증강된 샘플을 구분하는 검증 점수를 기반으로 조기 정지 전략을 적용하며, 이는 테스트 성능과 높은 상관관계를 가짐.

실험 결과

연구 질문

• RQ1 학습 데이터에 알려지지 않은 이상치가 포함되어 있을 경우, 왜 표준 대비 학습이 이상 탐지에 실패하는가?
• RQ2 에너지 기반 학습은 비지도 대비 표현 학습과 어떻게 효과적으로 통합될 수 있는가?
• RQ3 프로토타입 수와 조기 정지 전략이 모델 성능과 일반화 능력에 미치는 영향은 무엇인가?
• RQ4 소량의 레이블된 정규/OOD 샘플이 오염된 학습 데이터에서 탐지 강건성을 크게 향상시킬 수 있는가?
• RQ5 기존의 손실 목표 함수와 비교했을 때, 제안된 에너지 함수는 정규 및 이상 분포 간의 분리 능력에서 어떤가?

주요 결과

• 엘사(Elsa)는 CIFAR-10 및 기타 벤치마크 데이터셋에서 소량의 레이블 샘플만으로도 최신 기술(SOTA) 성능을 달성한다.
• 학습 데이터에 알려지지 않은 이상치가 포함된 상황에서도 강력한 강건성을 보이며, 기존 최신 기술(SOTA) 방법들을 능가한다.
• 제거 분석 결과, 대비 학습 목표의 에너지 함수를 변경할 경우 성능 저하가 가장 크게 발생함을 확인하여 이론적 분석을 뒷받침한다.
• 원본과 증강된 샘플을 구분하는 조기 정지 점수는 테스트 AUROC와 높은 피어슨 상관관계(0.912 ± 0.038)를 보이며, 신뢰할 수 있는 조기 정지를 가능하게 한다.
• 학습 과정에서 에너지 스코어 분포가 변화한다: 정규 샘플은 프로토타입 근처로 집중되고 이상 샘플은 산산이 흩어지며, 명확한 분리가 가능해진다.
• 정성 분석 결과, 프로토타입이 정규 데이터의 의미 있는, 시각적으로 일관된 군집을 잘 포괄하고 있음을 확인할 수 있다. 예를 들어, CIFAR-10의 Airplane 클래스에서는 명확한 형태가 구분되는 군집을 형성한다.