[논문 리뷰] Cleaning Label Noise with Clusters for Minimally Supervised Anomaly Detection

Muhammad Zaigham Zaheer, Jin Ha Lee외 3명|arXiv (Cornell University)|2021. 04. 30.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 23

한 줄 요약

이 논문은 비디오 수준에서만 레이블이 부여된 비디오의 레이블 노이즈를 정제하기 위해 이진 클러스터링을 사용하는 약한 감독 이상 탐지 프레임워크를 제안한다. 딥 네트워크와 클러스터링 기반의 가짜 레이블링을 함께 최적화함으로써, 이 방법은 UCF-Crime에서 78.27%의 프레임 수준 AUC와 ShanghaiTech에서 84.16%의 프레임 수준 AUC를 달성하여, 노이즈가 많고 최소한의 감독 환경에서 이전 방법들을 크게 능가한다.

ABSTRACT

Learning to detect real-world anomalous events using video-level annotations is a difficult task mainly because of the noise present in labels. An anomalous labelled video may actually contain anomaly only in a short duration while the rest of the video can be normal. In the current work, we formulate a weakly supervised anomaly detection method that is trained using only video-level labels. To this end, we propose to utilize binary clustering which helps in mitigating the noise present in the labels of anomalous videos. Our formulation encourages both the main network and the clustering to complement each other in achieving the goal of weakly supervised training. The proposed method yields 78.27% and 84.16% frame-level AUC on UCF-crime and ShanghaiTech datasets respectively, demonstrating its superiority over existing state-of-the-art algorithms.

연구 동기 및 목표

• 부분적인 이상 현상으로 인해 심각한 노이즈를 포함할 수 있는 비디오 수준 레이블만 제공될 때 강건한 이상 탐지 모델을 훈련하는 데 도전하는 것.
• 정상 세그먼트가 잘못되어 이상으로 레이블이 지정되는 노이즈 레이블의 영향을 줄이기 위해 클러스터링 기반의 정밀화 메커니즘을 도입하는 것.
• 딥 네트워크와 클러스터링 알고리즘이 훈련 도중 상호 보완적으로 향상되도록 상호작용하는 공동 학습 프레임워크를 개발하는 것.
• 비용이 많이 드는 프레임 수준 레이블링이 필요 없이 최소한의 감독 설정에서 벤치마크 데이터셋에서 최고 성능을 달성하는 것.

제안 방법

• 비디오를 겹치지 않는 16 프레임의 세그먼트(f=16)로 나누어 세그먼트 수준 분석을 가능하게 한다.
• 각 세그먼트에서 사전 훈련된 C3D 네트워크를 사용해 특징을 추출하여 압축된 표현을 확보한다.
• ReLU와 드롭아웃을 포함한 두 층의 완전 연결 네트워크를 통해 세그먼트 특징을 통과시켜 이상도 예측한다.
• 첫 번째 완전 연결 층의 특징에 대해 이진 클러스터링(k=2)을 적용하여 세그먼트를 정상 및 이상 클러스터로 분류한다.
• 이상 비디오에서는 클러스터 간 간격을 증가시키고, 정상 비디오에서는 클러스터를 융합하도록 유도하는 클러스터링 거리 손실($L_c$)을 도입한다.
• 이상 비디오의 세그먼트에 대해 클러스터 할당 기반으로 가짜 레이블($y^p$)을 생성하여, 균일한 비디오 수준 레이블을 개선된 세그먼트 수준 지도로 대체한다.

실험 결과

연구 질문

• RQ1 비디오 수준 레이블만 제공되는 약한 감독 이상 탐지 환경에서 이진 클러스터링이 레이블 노이즈를 효과적으로 줄일 수 있는가?
• RQ2 딥 네트워크와 클러스터링 간의 공동 최적화 프레임워크가 단독 모델보다 이상 탐지 성능을 향상시키는가?
• RQ3 기존 방법과 비교해 본다면, 제안된 클러스터링 기반 가짜 레이블링은 UCF-Crime와 ShanghaiTech와 같은 표준 벤치마크에서 AUC 성능에 어떻게 기여하는가?
• RQ4 클러스터링 거리 손실과 가짜 레이블링이 전체 성능 향상에 기여하는 비중은 어느 정도인가?

주요 결과

• 제안된 방법은 UCF-Crime 데이터셋에서 78.27%의 프레임 수준 AUC를 달성하여, Zhong 등 [8]이 사용한 더 복잡한 그래프 컬러시브 네트워크를 제외한 모든 비교 SOTA 방법을 능가한다.
• ShanghaiTech 데이터셋에서는 84.16%의 프레임 수준 AUC를 기록하여, 동일한 평가 프로토콜 하에서 Zhong 등 [8]보다 7.72%포인트 높은 성능을 보였다.
• 제거 실험 결과, 클러스터링 기반 가짜 레이블($y^p$)을 제거하면 ShanghaiTech에서 AUC가 2.51% 감소하고 UCF-Crime에서는 1.63% 감소하여, 성능 향상에 있어 그들의 핵심적 역할을 입증한다.
• 클러스터링 거리 손실($L_c$) 역시 기여가 크며, 제거 시 ShanghaiTech에서 AUC가 0.79% 감소하고 UCF-Crime에서는 1.09% 감소하여, 클러스터 간 분리에 있어 그 중요성을 보여준다.
• 정성적 결과에서는 모델이 명확히 이상 세그먼트를 강조하면서 정상 비디오에서의 잘못된 경고(false positives)를 억제하는 특이한 이상도 패tern을 생성함을 확인할 수 있었다.
• 단일 스트림 아키텍처와 C3D 특징만을 사용하여도 SOTA 성능을 달성하였으며, 다중 스트림 입력이나 복잡한 아키텍처에 의존하지 않아 효율성과 재현 가능성을 확보하였다.