[논문 리뷰] Deep Crowd Anomaly Detection: State-of-the-Art, Challenges, and Future Research Directions

Md. Haidar Sharif, Lei Jiao외 1명|arXiv (Cornell University)|2022. 10. 25.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 종합 검토는 2020–2022년 사이 영상에서 군중 이면 검출을 위한 최신 딥러닝 기법을 검토하며, 아키텍처, 데이터셋, 성능을 분석한다. 연구 결과, 사전 학습된 CNN인 VGGNet 및 DenseNet은 성능에 미미한 영향을 미치며, 데이터 희소성, 시간적 다양성 부족, 모델 해석 가능성, 딥러닝 내 수학적 역설 등 주요 과제를 밝혀냈다.

ABSTRACT

Crowd anomaly detection is one of the most popular topics in computer vision in the context of smart cities. A plethora of deep learning methods have been proposed that generally outperform other machine learning solutions. Our review primarily discusses algorithms that were published in mainstream conferences and journals between 2020 and 2022. We present datasets that are typically used for benchmarking, produce a taxonomy of the developed algorithms, and discuss and compare their performances. Our main findings are that the heterogeneities of pre-trained convolutional models have a negligible impact on crowd video anomaly detection performance. We conclude our discussion with fruitful directions for future research.

연구 동기 및 목표

• 2020년에서 2022년 사이에 발표된 딥러닝 기반 군중 이면 검출 방법에 대한 체계적 검토를 제공하기 위해.
• 표준 벤치마크 데이터셋에서 다양한 딥러닝 아키텍처(예: 오토에인코더, CNN, GAN)의 성능을 분석하고 비교하기 위해.
• 실제 적용 시 주요 과제로 나타나는 데이터 부족, 시간적 다양성 부족, 모델 해석 가능성 등의 문제를 특정하고 논의하기 위해.
• 사전 학습 모델의 영향, 개인정보 보호 기법, 딥러닝 내 수학적 제약 등 열린 연구 과제를 탐색하기 위해.
• 해석 가능한 AI와 익명화 인식 특징 학습과 같은 분야에서의 잠재적 연구 방향을 제시하여 향후 연구를 이끌기 위해.

제안 방법

• 논문은 컴퓨터 비전 및 영상 분석 분야의 최상위 컆퍼런스와 저널에서 출판된 동료 검토 논문(2020–2022)을 종합적으로 조사한다.
• 아키텍처 유형 기반으로 분류 체계를 수립하며, 이는 오토에인코더(예: 3D-CAE, AAE, MoAE), CNN(예: VGGNet, ResNet, DenseNet), 하이브리드 모델(예: TS-AE, ST-U-Net)을 포함한다.
• 표준 메트릭(예: AUC, EER, F1-score, PSNR)을 사용하여 UCSD, UCSD Ped2, UCF-Crime 등의 벤치마크 데이터셋에서 성능을 평가한다.
• 다운스트림 이면 검출 성능에 대한 ImageNet 사전 학습 모델의 영향을 조사하며, 특히 VGGNet와 DenseNet을 비교한다.
• 활성화 함수(예: ReLU)와 정규화 레이어(예: BatchNorm)가 특징 표현 및 이면 검출의 강건성에 미치는 영향을 평가한다.
• 주의 메커니즘, 시공간 모델링, 적대적 훈련의 통합을 통해 이면 지역화 및 검출 성능 향상을 논의한다.

실험 결과

연구 질문

• RQ1 특히 사전 학습된 CNN 기반 아키텍처가 영상에서 군중 이면 검출 성능에 어떤 영향을 미치는가?
• RQ2 현행 벤치마크 데이터셋의 주요 제약 사항은 무엇이며, 이는 이면 검출 모델의 실세계 적용 가능성을 저해하는가?
• RQ3 ReLU 및 BatchNorm과 같은 아키텍처 구성 요소가 모델의 이면 검출 능력에 어떤 영향을 미치는가?
• RQ4 딥 이면 검출 시스템에서 모델의 해석 가능성과 설명 가능성은 어떻게 향상시킬 수 있는가?
• RQ5 익명화 및 특징 유지와 관련된 개인정보 보호 영상 분석과 관련된 열린 과제는 무엇인가?

주요 결과

• VGGNet 및 DenseNet과 같은 사전 학습된 컨volutional 모델은 군중 영상 이면 검출 성능에 미미한 영향을 미치며, 이는 모델 선택이 아키텍처 설계보다 덜 중요한 가능성을 시사한다.
• UCSD 및 UCF-Crime와 같은 벤치마크 데이터셋은 짧은 영상 세그먼트(몇 분 내외)와 고밀도 이면 레이블을 사용하는 경우가 많아, 실세계에서는 이면이 희귀하고 희소한 현실을 반영하지 못한다.
• ReLU 활성화 함수는 음수 값을 억제함으로써 특징 다양성을 제한하며, 인코더에서 최종 ReLU 및 BatchNorm 레이어를 제거하면 성능 향상이 가능하다.
• 다중 시나리오 데이터셋에서 시간적 풍부함의 부족은 분포 이탈과 일반화 능력 저하를 초래하므로, 더 길고 다양한 시간적 시퀀스가 필요하다는 점을 시사한다.
• 모델 해석 가능성은 여전히 주요 과제이며, 딥 네트워크가 일반적으로 블랙박스로 간주되며, 예측을 설명하기 위한 노력은 실질적 적용에서는 여전히 제한되어 있다.
• 고델의 불완전성 정리에 뿌리를 둔 근본적인 수학적 역설은 딥 모델이 오류를 자가 검증할 능력을 제한하며, 이는 안전 핵심 응용 분야에서 본질적으로 신뢰할 수 없음을 의미한다.