[논문 리뷰] Video Event Restoration Based on Keyframes for Video Anomaly Detection

Zhiwei Yang, Jing Liu외 3명|arXiv (Cornell University)|2023. 04. 11.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 핵심 프레임에서 영상 이벤트 복원을 기반으로 하는 새로운 비디오 이상 탐지(VAD) 패러다임을 제안하며, 고차원 시각적 특징과 시간적 맥락을 학습하기 위해 이중 스킵 연결을 갖춘 U형 스위닝 트랜스포머 네트워크(USTN-DSC)를 도입한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, AUC 점수는 Ped2에서 98.1%, Avenue에서 89.9%, ShanghaiTech에서 73.8%를 기록한다. 이는 인접 프레임 간 차이 손실을 통해 움직임 일관성을 향상시켜 이상 탐지 민감도를 향상시킨다.

ABSTRACT

Video anomaly detection (VAD) is a significant computer vision problem. Existing deep neural network (DNN) based VAD methods mostly follow the route of frame reconstruction or frame prediction. However, the lack of mining and learning of higher-level visual features and temporal context relationships in videos limits the further performance of these two approaches. Inspired by video codec theory, we introduce a brand-new VAD paradigm to break through these limitations: First, we propose a new task of video event restoration based on keyframes. Encouraging DNN to infer missing multiple frames based on video keyframes so as to restore a video event, which can more effectively motivate DNN to mine and learn potential higher-level visual features and comprehensive temporal context relationships in the video. To this end, we propose a novel U-shaped Swin Transformer Network with Dual Skip Connections (USTN-DSC) for video event restoration, where a cross-attention and a temporal upsampling residual skip connection are introduced to further assist in restoring complex static and dynamic motion object features in the video. In addition, we propose a simple and effective adjacent frame difference loss to constrain the motion consistency of the video sequence. Extensive experiments on benchmarks demonstrate that USTN-DSC outperforms most existing methods, validating the effectiveness of our method.

연구 동기 및 목표

• 기존의 딥 네트워크 기반 VAD 방법이 고차원 시각적 특징과 종합적인 시간적 맥락을 효과적으로 학습하지 못하는 한계를 해결하기 위해.
• 프레임 복원 및 예측 기반 VAD 접근 방식의 단점을 극복하기 위해, 이는 저차원 패턴에 과적합되어 이방성 샘플을 처리하는 데 어려움을 겪기 때문이다.
• 비디오 코덱 이론에 영감을 얻어, 희소한 핵심 프레임만으로 전체 영상 이벤트를 복원하는 새로운 VAD 패러다임을 제안하기 위해.
• 복잡한 정적 및 동적 운동 객체의 복원을 향상시키기 위해, 공간-시간 관계를 능동적으로 탐색하는 USTN-DSC 모델을 설계하기 위해.
• 인접 프레임 간 차이 손실이 복원된 영상 시퀀스에서 움직임 일관성을 강화하는 데 효과적인지 검증하기 위해.

제안 방법

• 새로운 VAD 패러다임을 제안: 핵심 프레임에서만 입력을 받는 DNN이 누락된 프레임을 복원하는 영상 이벤트 복원.
• 에코더-디코더 아키텍처와 다중 척도 특징 학습을 결합한 이중 스킵 연결을 갖춘 U형 스위닝 트랜스포머 네트워크(USTN-DSC) 설계.
• 공간적 및 시간적 차원에서 에코더와 디코더 특징 간의 특징 상호작용을 향상시키기 위해 교차 어텐션 스킵 연결 도입.
• 영상 프레임 복원 과정에서 세밀한 운동 세부 정보를 유지하기 위해 시간적 업샘플링 잔차 스킵 연결 통합.
• 연속적으로 복원된 프레임 간 픽셀 차이를 최소화함으로써 움직임 일관성을 강화하기 위해 새로운 인접 프레임 간 차이 손실(AFDL) 적용.
• 핵심 프레임을 입력으로, 전체 영상 시퀀스를 타겟으로 하여 재구성 손실과 AFDL을 사용해 모델을 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 기존의 재구성 또는 예측 기반 방법보다 핵심 프레임에서 영상 이벤트 복원이 비지도 비디오 이상 탐지에 더 효과적인 패러다임이 될 수 있는가?
• RQ2 특히 교차 어텐션과 시간적 업샘플링을 포함한 이중 스킵 연결이 영상 복원에서 복잡한 운동 및 정적 특징을 모델링하는 데 어떻게 기여하는가?
• RQ3 인접 프레임 간 차이 손실이 영상 복원 기반 VAD에서 움직임 일관성과 탐지 성능을 얼마나 향상시키는가?
• RQ4 스위닝 트랜스포머 블록의 깊이(N)가 다양한 영상 장면에서 공간-시간 의존성을 포괄하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 장면 복잡도와 운동 패턴이 다양한 데이터셋 간에 잘 일반화되는가?

주요 결과

• USTN-DSC 모델은 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, Ped2에서 AUC 98.1%, Avenue에서 89.9%, ShanghaiTech에서 73.8%를 기록한다.
• 이중 스킵 연결 추가로 Ped2, Avenue, ShanghaiTech에서 각각 AUC가 7.0, 6.7, 6.4%p 향상되어 그 핵심적 역할을 입증한다.
• 교차 어텐션 스킵 연결이 가장 기여도가 높았으며, 세 데이터셋에서 각각 5.3%, 4.7%, 3.8% 향상시켰다.
• 인접 프레임 간 차이 손실(AFDL)은 Ped2, Avenue, ShanghaiTech에서 각각 0.9, 1.4, 2.3점 향상시켰으며, 특히 복잡한 운동 패atters를 가진 ShanghaiTech에서 가장 큰 성과 기록.
• 스위닝 트랜스포머 블록의 깊이(N)를 2에서 6으로 증가시켜 Ped2, Avenue, ShanghaiTech에서 각각 AUC가 1.0, 2.1, 2.3점 향상되었으며, 이는 복잡한 장면에서는 더 강력한 모델링 능력이 필요함을 시사한다.
• 이상 탐지에 매우 민감하며, 이방성 사건 발생 시점에 이상 점수 급격히 상승하고 이후 빠르게 기준선 복귀함.