[논문 리뷰] Skeletal Video Anomaly Detection using Deep Learning: Survey, Challenges and Future Directions

Pratik K. Mishra, Alex Mihailidis외 1명|arXiv (Cornell University)|2022. 12. 31.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 인간의 체형 관절 위치를 사용하여 비정상 행동을 탐지하면서도 사생활을 보호하는 딥러닝 기반 뼈대 영상 이상 탐지 방법을 조사한다. 이 방법은 재구성, 예측 및 하이브리드 모델을 뼈대 시퀀스에 적용하여 높은 정확도로 이상을 탐지하며, 의료 및 주거 환경에서 RGB 기반 시스템에 대한 사생활 보호 가능한 대안을 제공한다.

ABSTRACT

The existing methods for video anomaly detection mostly utilize videos containing identifiable facial and appearance-based features. The use of videos with identifiable faces raises privacy concerns, especially when used in a hospital or community-based setting. Appearance-based features can also be sensitive to pixel-based noise, straining the anomaly detection methods to model the changes in the background and making it difficult to focus on the actions of humans in the foreground. Structural information in the form of skeletons describing the human motion in the videos is privacy-protecting and can overcome some of the problems posed by appearance-based features. In this paper, we present a survey of privacy-protecting deep learning anomaly detection methods using skeletons extracted from videos. We present a novel taxonomy of algorithms based on the various learning approaches. We conclude that skeleton-based approaches for anomaly detection can be a plausible privacy-protecting alternative for video anomaly detection. Lastly, we identify major open research questions and provide guidelines to address them.

연구 동기 및 목표

• 외관 기반 특징을 뼈대 표현으로 대체하여 영상 기반 이상 탐지에서의 사생활 우려를 해결한다.
• 조명에 민감하거나 배경 혼잡함이나 얼굴 식별 문제로 인해 임상 및 가정 환경에 구현하기 어려운 RGB 영상 방법의 한계를 극복한다.
• 학습 접근 방식을 기반으로 한 새로운 분류 체계를 활용해 딥러닝 기반 뼈대 이상 탐지 방법을 조사하고 분류한다.
• 현재 데이터셋과 방법에서의 주요 연구 격차를 특정한다. 특히, 가정 및 장기 간병 환경에 대한 집중 부족을 포함한다.
• 강력하고 사생활 보호 가능한 뼈대 기반 이상 탐지 시스템을 개발하기 위한 실용적 지침과 향후 연구 방향을 제시한다.

제안 방법

• MediaPipe, OpenPose 또는 HRNet와 같은 포즈 추정 모델을 사용하여 RGB 영상에서 2D 또는 3D 인간 관절 좌표를 추출한다.
• 관절 좌표의 시간적 시퀀스로 인간 운동을 표현하여 압축적이고 의미가 풍부한 뼈대 시퀀스를 형성한다.
• 정상 운동 패턴을 학습하고 이격을 경고하기 위해 재구성 기반 접근 방식(예: 오토에인코더)을 사용하여 딥러닝 모델을 훈련한다.
• 미래의 관절 좌표를 예측하고 예측 오차에서 이상 점수를 계산하기 위해 예측 기반 모델(예: LSTM, Transformer)을 활용한다.
• 재구성 및 예측 손실을 결합하여 이상 탐지의 강건성과 일반화 능력을 향상시킨다.
• 광학 흐름, 세그멘테이션 마스크 또는 물체 경계 상자와 같은 다중 모odal 신호를 뼈대로 통합하여 인간-물체 및 인간-인간 상호작용을 모델링하면서도 사생활을 보호한다.

실험 결과

연구 질문

• RQ1 어떻게 뼈대 표현을 사용하여 사생활 보호 가능한 방식으로 비정상적인 인간 행동을 탐지할 수 있는가?
• RQ2 가정 및 간병 시설과 같은 민감한 환경에서 외관 기반 영상 이상 탐지의 주요 한계는 무엇인가?
• RQ3 오토에인코더, LSTMs, Transformers 등의 딥러닝 아키텍처 중에서 뼈대 기반 이상 탐지에 가장 효과적인 것은 무엇인가?
• RQ4 어떻게 뼈대 기반 모델을 인간-물체 또는 인간-인간 상호작용을 포함한 복잡한 이상 탐지로 확장할 수 있는가?
• RQ5 실제 주거 및 임상 환경에 이러한 시스템을 구현할 때의 주요 열린 과제는 무엇인가?

주요 결과

• 뼈대 기반 이상 탐지는 얼굴 및 외관 특징를 생략함으로써 RGB 기반 방법에 비해 강력한 사생활 보호 대안을 제공한다.
• 재구성 기반 모델, 특히 오토에인코더는 여러 데이터셋에서 AUC 점수가 0.9를 초과하여 비정상 자세나 비정상 행동을 강력하게 탐지하는 데 성능이 뛰어나다.
• LSTM 또는 Transformer를 사용하는 예측 기반 모델은 기대되는 관절 궤적의 이격을 측정함으로써 높은 이상 탐지 정확도를 달성한다.
• 재구성 및 예측 손실을 결합한 하이브리드 모델은 다양한 이상을 탐지하는 데 단일 목표 접근보다 뛰어난 성능을 보인다.
• 현재 데이터셋은 주로 실외 또는 통제된 환경을 중심으로 하며, 가정 및 장기 간병 시나리오의 표현이 제한적이다.
• 광학 흐름, 세그멘테이션 마스크 및 피어드레이티드 러닝과의 향후 통합은 사생활 보호, 강건성 및 실시간 구현 가능성을 더욱 향상시킬 수 있다.