[논문 리뷰] Video Anomaly Detection By The Duality Of Normality-Granted Optical Flow

Hongyong Wang, Xinjian Zhang외 2명|arXiv (Cornell University)|2021. 05. 10.

Anomaly Detection Techniques and Applications참고 문헌 43인용 수 5

한 줄 요약

이 논문은 정상성에 기반한 광학 흐름의 이중성(duality)을 활용하여 정상 프레임과 비정상 프레임을 구분하는 새로운 예측 기반 영상 이상 탐지 방법을 제안한다. 단일 프레임에서 다음 프레임 예측을 도와주는 광학 흐름을 예측함으로써, 정상적인 운동 패턴은 일관되게 예측되지만 비정상적인 운동은 오차를 유발한다는 사실을 활용하여 예측 품질을 통해 이상 탐지를 가능하게 한다. 이 방법은 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video anomaly detection is a challenging task because of diverse abnormal events. To this task, methods based on reconstruction and prediction are wildly used in recent works, which are built on the assumption that learning on normal data, anomalies cannot be reconstructed or predicated as good as normal patterns, namely the anomaly result with more errors. In this paper, we propose to discriminate anomalies from normal ones by the duality of normality-granted optical flow, which is conducive to predict normal frames but adverse to abnormal frames. The normality-granted optical flow is predicted from a single frame, to keep the motion knowledge focused on normal patterns. Meanwhile, We extend the appearance-motion correspondence scheme from frame reconstruction to prediction, which not only helps to learn the knowledge about object appearances and correlated motion, but also meets the fact that motion is the transformation between appearances. We also introduce a margin loss to enhance the learning of frame prediction. Experiments on standard benchmark datasets demonstrate the impressive performance of our approach.

연구 동기 및 목표

• 비정상적인 이벤트가 다양하고 드물게 레이블링된 영상 감시 환경에서 비지도 학습을 통해 다양한 이상 이벤트를 탐지하는 데 도전한다.
• 이전 방법들이 프레임과 광학 흐름 예측 간 잠재 공간을 공유함으로써 발생하는 시간적 갈등 문제를 해결한다.
• 정상성에 기반한 광학 흐름의 이중성을 활용한다 — 정상적인 운동에는 유용하지만 비정상적인 운동에는 해로운 것으로, 이상 탐지 능력을 향상시킨다.
• 재구성에서 예측으로의 외관-운동 대응을 확장하여, 광학 흐름이 픽셀 이동으로서 물리적 성격을 반영하도록 한다.
• 예측된 프레임이 입력 프레임과 다름을 강조하는 마진 손실을 통해 프레임 예측의 강건성을 향상시킨다.

제안 방법

• 동일한 프레임에서 예측된 광학 흐름을 도움으로써 단일 현재 프레임에서 다음 프레임의 외관을 예측한다.
• 정상 데이터로만 훈련된 정상성에 기반한 광학 흐름 네트워크를 사용하여 정상 행동과 일관된 운동 패턴을 생성한다.
• 컨볼루션 레이어를 활용한 영역 대응 학습 전략을 적용하여 외관과 운동 특징을 정렬함으로써 직접 워핑보다 강건성을 향상시킨다.
• 예측된 프레임이 입력 프레임과 다름을 강제하는 마진 손실을 도입하여 프레임 간 운동 변화에 대한 민감도를 향상시킨다.
• PSNR 기반의 패치 평가를 사용하여 예측 품질을 평가하며, 낮은 PSNR는 이상 탐지에 대한 높은 신뢰도를 의미한다.
• 광학 흐름의 이중성을 활용한다: 정상 프레임에서는 유용(예측 향상), 비정상 프레임에서는 해로움(오차 증가)하여 이상 탐지가 가능하다.

실험 결과

연구 질문

• RQ1 정상성에 기반한 광학 흐름의 이중성은 정상 이벤트에 대해 예측을 더 정확하게 하고 비정상 이벤트에 대해 덜 정확하게 하여 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 단일 프레임에서 광학 흐름을 예측하는 방식은 함께 프레임과 광학 흐름을 예측하는 것과 비교해 운동 모델링에 어떤 영향을 미치는가?
• RQ3 마진 손실은 연속된 프레임 간 운동 변화를 구분하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 재구성에서 예측으로의 외관-운동 대응 확장을 통해 이상 탐지 성능이 향상되는가?
• RQ5 제안된 방법은 표준 영상 이상 탐지 벤치마크에서 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 UCSD Ped2, CUHK Avenue, ShanghaiTech의 세 가지 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• CUHK Avenue에서 AUC는 88.41을 기록하였으며, 제거 분석 결과 광학 흐름 유도로 3% 향상되고 마진 손실로 1% 향상됨을 확인하였다.
• 예측은 77 fps, 전체 탐지는 47 fps로 실행되어 단일 GPU에서 실시간 추론이 가능하다.
• 시각적 분석 결과, 예측된 프레임에서 비정상 영역은 더 흐릿하고 정확도가 떨어지며, 뛰는 아이나 자전거와 같은 경우 일부가 사라지거나 왜곡되는 경향을 보였다.
• PSNR 기반 이상 탐지 스코어 마스크는 이상 영역을 효과적으로 강조하며, 더 어두운 패치는 이상 탐지에 대한 높은 신뢰도를 나타낸다.
• 제거 분석 결과, 광학 흐름 유도와 마진 손실 모두 필수적임을 확인하였으며, 특히 광학 흐름 유도가 성능 향상에 크게 기여하였다.