[논문 리뷰] Self-Supervised Anomaly Detection in Computer Vision and Beyond: A Survey and Outlook

Hadi Hojjati, Thi Kieu Khanh Ho외 1명|arXiv (Cornell University)|2022. 05. 10.

Anomaly Detection Techniques and Applications참고 문헌 129인용 수 7

한 줄 요약

이 종합적 리뷰는 컴퓨터 비전 및 그 외 분야에서 자기지도 학습(SSL) 기반 이상 탐지(AD) 방법에 대해 포괄적으로 분석하며, 대조 학습, 인스턴스 식별 및 기타 SSL 기반 접근 방식이 비라벨 데이터로부터 강력한 표현을 학습하는 방식을 다룹니다. 이는 이러한 방법이 기존의 비지도 및 지도 학습 기반 AD 기법보다 특히 저자료 및 일항 분류 시나리오에서 뛰어난 성능을 보임을 보여주며, 소수의 예시 학습, 다중 모odal 통합 및 효율적인 학습과 같은 향후 방향성을 제시합니다.

ABSTRACT

Anomaly detection (AD) plays a crucial role in various domains, including cybersecurity, finance, and healthcare, by identifying patterns or events that deviate from normal behaviour. In recent years, significant progress has been made in this field due to the remarkable growth of deep learning models. Notably, the advent of self-supervised learning has sparked the development of novel AD algorithms that outperform the existing state-of-the-art approaches by a considerable margin. This paper aims to provide a comprehensive review of the current methodologies in self-supervised anomaly detection. We present technical details of the standard methods and discuss their strengths and drawbacks. We also compare the performance of these models against each other and other state-of-the-art anomaly detection models. Finally, the paper concludes with a discussion of future directions for self-supervised anomaly detection, including the development of more effective and efficient algorithms and the integration of these techniques with other related fields, such as multi-modal learning.

연구 동기 및 목표

• 자기지도 학습(SSL) 기반 이상 탐지 방법에 대한 포괄적인 리뷰를 제공하여, 더 넓은 AD 연구 환경 속에서 이를 위치 지으며.
• 현재의 SSL 기반 AD 접근 방식, 특히 대조 학습과 인스턴스 식별의 강점과 한계를 분석하며.
• 표준 벤치마크 데이터셋에서 SSL 기반 모델의 성능을 최첨단 비지도 및 지도 학습 기반 AD 기법과 비교하며.
• 소수의 예외적 이상 탐지, 다중 모달 학습 및 계산 효율성과 같은 열린 과제와 향후 연구 방향을 식별하며.
• 자기지도 이상 탐지 분야에서 최첨단 기술을 발전시키는 연구자 및 전문가를 위한 기초 참고 자료로 기능하며.

제안 방법

• 자기지도 이상 탐지 방법을 대조 학습(SimCLR 등), 인스턴스 식별, 비대조적 방법(BYOL, Barlow Twins 등)의 세 가지 주요 범주로 분류하며.
• 일반화 가능한 표현을 학습하기 위해 기하학적 변형 예측, 색조화, 인스턴스 수준 식별 등의 프록시 작업을 검토하며.
• 정상 샘플이 조밀하고 구조화된 표현 공간에 집중되며, 이상치는 중심 또는 외곽으로 밀려나는 방식으로 SSL 모델이 표현을 학습하는 방식을 분석하며.
• AUC 및 F1 스코어 등의 지표를 사용하여 CIFAR-10, MNIST, MVTec AD 등의 표준 벤치마크에서 SSL 기반 AD 모델의 성능을 평가하며.
• ANEMONE 및 소수의 예외 학습 기반 AD 방법에서처럼, 제한된 라벨이 부여된 이상치를 자기지도 프레임워크에 통합하여 탐지 정확도를 향상시키는 방법을 논의하며.
• 다중 모달 자기지도 학습, 효율적인 학습 기법, 전이 학습 및 연합 학습의 적용을 통해 계산 비용을 줄이는 데 있어 향후 방향성 탐색.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법은 기존의 비지도 및 지도 학습 기반 접근 방식에 비해 이상 탐지 성능을 어떻게 향상시키는가?
• RQ2 대조 및 비대조적 SSL 방법이 일항 이상 탐지에 효과적인 데 기여하는 주요 아키텍처 및 학습 구성 요소는 무엇인가?
• RQ3 소량의 라벨이 부여된 이상치를 학습 과정에 통합하면 자기지도 이상 탐지 모델의 성능이 어느 정도 향상되는가?
• RQ4 자기지도 학습은 다양한 데이터 소스를 포함하는 다중 모달 이상 탐지 시나리오로 어떻게 확장될 수 있는가?
• RQ5 실제 자원 제약 환경에서 자기지도 이상 탐지 모델을 확장하고 구현하는 데 있어 주요 과제는 무엇인가?

주요 결과

• 특히 대조 학습 기반 모델을 포함한 자기지도 이상 탐지 방법은 MVTec AD 및 CIFAR-10 등의 표준 벤치마크에서 최첨단 성능을 기록하며, 기존의 비지도 기법에 비해 뚜렷한 성능 향상을 보입니다.
• 음성 샘플이 필요 없는 비대조적 SSL 방법인 BYOL 및 Barlow Twins는 일항 이상 탐지에 강력한 잠재력을 보이며, 이 분야에서의 성능는 아직 탐색이 부족한 상태입니다.
• 학습 과정에 소량의 라벨이 부여된 이상치를 통합하는 것만으로도 탐지 정확도가 크게 향상되며, ANEMONE 및 소수의 예외 학습 기반 프레임워크에서 이를 입증하였습니다.
• SSL이 이상 탐지에서 성공한 이유는 모델이 이상치가 정상 데이터로부터 쉽게 분리 가능한 조밀하고 구조화된 표현 공간을 학습할 수 있다는 데에 있습니다. 이는 일반적으로 중심 또는 외곽에 위치합니다.
• 높은 성능에도 불구하고 현재의 SSL 기반 AD 모델은 계산 효율성과 확장성 문제를 겪고 있으며, 특히 실시간 또는 엣지 환경에서의 구현에 어려움이 있습니다.
• 다중 모달 자기지도 학습 및 효율적인 학습 기법과 같은 향후 연구 방향은 헬스케어 및 사이버 보안 분야에서 자기지도 이상 탐지의 실용적 적용을 발전시키기 위해 필수적입니다.