[논문 리뷰] Self-Supervised Representation Learning for Visual Anomaly Detection

Rabia Ali, Muhammad Umar Karim Khan외 1명|arXiv (Cornell University)|2020. 06. 17.

Anomaly Detection Techniques and Applications참고 문헌 63인용 수 4

한 줄 요약

이 논문은 광학 흐름을 사용하지 않고 시공간 특징을 학습하기 위해 영상의 비정상 검출을 위한 자기지도 학습 프레임 순서 뒤섞임 예측 작업을 제안한다. 무작위로 뒤섞인 영상 프레임의 원래 순서를 예측하도록 모델을 훈련시킴으로써 정상 영상 콘텐츠의 풍부한 의미적 및 구조적 표현을 포착한다. UCF101 및 ILSVRC2015 데이터셋에서 SOTA 수준의 AUROC 성능을 달성하였으며, M=5 프레임과 스킵=2 조건에서 최적의 성능을 보였다.

ABSTRACT

Self-supervised learning allows for better utilization of unlabelled data. The feature representation obtained by self-supervision can be used in downstream tasks such as classification, object detection, segmentation, and anomaly detection. While classification, object detection, and segmentation have been investigated with self-supervised learning, anomaly detection needs more attention. We consider the problem of anomaly detection in images and videos, and present a new visual anomaly detection technique for videos. Numerous seminal and state-of-the-art self-supervised methods are evaluated for anomaly detection on a variety of image datasets. The best performing image-based self-supervised representation learning method is then used for video anomaly detection to see the importance of spatial features in visual anomaly detection in videos. We also propose a simple self-supervision approach for learning temporal coherence across video frames without the use of any optical flow information. At its core, our method identifies the frame indices of a jumbled video sequence allowing it to learn the spatiotemporal features of the video. This intuitive approach shows superior performance of visual anomaly detection compared to numerous methods for images and videos on UCF101 and ILSVRC2015 video datasets.

연구 동기 및 목표

• 이전 연구에서 다루지 않은 영상 및 영상 기반 시각적 이상 탐지에 대한 자기지도 학습 표현 학습 방법의 성능 평가를 목적으로 한다.
• 자기지도 학습을 활용한 영상 이상 탐지에서 공간적 특징과 시간적 특징의 상대적 기여도를 조사한다.
• 광학 흐름이나 외부 감독 없이도 시공간 일관성을 효과적으로 학습할 수 있는 단순하고 효과적인 자기지도 학습 방법을 개발한다.
• 프레임 순서 뒤섞임 학습이 이상(외부 분포) 영상 인스턴스 탐지에 어떻게 향상되는지 입증한다.

제안 방법

• 이 방법은 프레임 순서 뒤섞임 예측 작업을 도입한다: M개의 영상 프레임으로 구성된 뒤섞인 시퀀스가 주어지면, 모델은 원래의 프레임 순서를 예측한다.
• 모델은 정상 영상 세그먼트만으로 훈련되며, 분류 헤드를 사용하여 순열 인덱스를 예측한다.
• 공간적 특징은 각 프레임에 독립적으로 적용되는 컨볼루션 신경망(예: ResNet)을 통해 추출된다.
• 시간적 추론은 모델이 정확한 순서를 재구성함으로써 암묵적으로 발생하며, 객체의 위치, 형태 및 운동 역학을 포착한다.
• 이 방법은 광학 흐름, 바운딩 박스 또는 인간에 의한 타임스탬프 신호 없이도 RGB 프레임만을 사용한다.
• AUROC를 최대화하기 위해 프레임 수 M 및 프레임 스킵과 같은 하이퍼파라미터를 경험적으로 조정한다.

실험 결과

연구 질문

• RQ1 이미지 기반 시각적 이상 탐지에 대해 미세조정된 기존 자기지도 학습 표현 학습 방법의 성능는 어떠한가?
• RQ2 자기지도 학습을 활용한 영상 이상 탐지에서 공간적 특징과 시간적 특징의 상대적 기여도는 어떠한가?
• RQ3 광학 흐름이나 추가 감독 없이도 단순한 프레임 순서 뒤섞임 예측 작업이 효과적으로 시공간 표현을 학습할 수 있는가?
• RQ4 프레임 수 M 및 프레임 스킵과 같은 하이퍼파라미터는 제안된 방법의 성능에 어떻게 영향을 미치는가?

주요 결과

• 프레임 순서 뒤섞임 예측 작업은 UCF101에서 76.4%의 SOTA AUROC 성능을 기록했으며, ILSVRC2015에서는 75.5%를 달성하여 이전의 자기지도 학습 및 SOTA 방법을 모두 능가했다.
• M=5 프레임을 사용하고, 선택된 프레임 간에 두 프레임을 스킵하는 조건(예: {f1, f4, f7, f10, f13})에서 최적의 성능를 보였으며, 이는 비연속적인 프레임이 특징 다양성을 향상시킨다는 것을 시사한다.
• 모델이 시간적 특징에만 의존하는 경우(예: AOT)보다 유의미하게 뛰어난 성능를 보였으며, 이상 탐지에서 공간적 구조가 운동보다 더 중요하다는 것을 시사한다.
• 이미지 기반 자기지도 학습 방법인 RotNet은 이미지에서는 경쟁적인 성능를 보였지만, 제안된 영상 전용 방법은 영상 이상 탐지에서 그들을 능가했다.
• 모델은 정상(내부 분포) 영상 콘텐츠에 대한 강력한 표현을 학습하여, 외부 분포(이상) 인스턴스를 정확하게 탐지할 수 있었다.
• M=5를 초과하면 성능가 평준선을 보이며, 더 긴 시퀀스에서는 수익 감소 현상이 나타나고, 연속된 프레임은 효과적인 학습을 위한 충분한 다양성을 제공하지 못했다.