[논문 리뷰] MULTICAST: MULTI Confirmation-level Alarm SysTem based on CNN and LSTM to mitigate false alarms for handgun detection in video-surveillance

Roberto Olmos, Siham Tabik외 3명|arXiv (Cornell University)|2021. 04. 23.

Fire Detection and Safety Systems참고 문헌 23인용 수 4

한 줄 요약

MULTICAST는 비디오 감시에서 임의의 이미지 검출기의 오진 및 부정성률을 낮추기 위해 CNN 기반의 공간적 확인과 LSTM 기반의 시간적 추적을 조합한 세 단계의 권총 탐지 시스템이다. 시공간 일관성을 활용하여 Faster R-CNN 대비 오진률을 80% 감소시켜 실시간 보안 응용 분야에서 신뢰성을 크게 향상시킨다.

ABSTRACT

Despite the constant advances in computer vision, integrating modern single-image detectors in real-time handgun alarm systems in video-surveillance is still debatable. Using such detectors still implies a high number of false alarms and false negatives. In this context, most existent studies select one of the latest single-image detectors and train it on a better dataset or use some pre-processing, post-processing or data-fusion approach to further reduce false alarms. However, none of these works tried to exploit the temporal information present in the videos to mitigate false detections. This paper presents a new system, called MULTI Confirmation-level Alarm SysTem based on Convolutional Neural Networks (CNN) and Long Short Term Memory networks (LSTM) (MULTICAST), that leverages not only the spacial information but also the temporal information existent in the videos for a more reliable handgun detection. MULTICAST consists of three stages, i) a handgun detection stage, ii) a CNN-based spacial confirmation stage and iii) LSTM-based temporal confirmation stage. The temporal confirmation stage uses the positions of the detected handgun in previous instants to predict its trajectory in the next frame. Our experiments show that MULTICAST reduces by 80% the number of false alarms with respect to Faster R-CNN based-single-image detector, which makes it more useful in providing more effective and rapid security responses.

연구 동기 및 목표

• 비디오 감시에서 단일 이미지 검출기로 인한 높은 오진 및 부정성률 문제를 해결한다.
• 영상 시퀀스의 시간 일관성을 활용하지 않는 기존 접근 방식의 한계를 극복한다.
• 공간적 및 시간적 증거를 기반으로 한 확인 수준을 통해 탐지 신뢰도를 향상시키는 다단계 경고 시스템을 개발한다.
• 영상에서 권총 탐지에 대한 궤적 예측을 훈련하고 평가하기 위해 새로운 데이터셋인 HandgunTrajector를 구축한다.
• 자동화된 신뢰도 등급 기반 탐지로 인간 간섭을 최소화하여 더 빠르고 정확한 보안 대응을 가능하게 한다.

제안 방법

• 각 영상 프레임에서 잠재적인 권총 영역을 식별하기 위해 초기 권총 탐지 단계로 Faster R-CNN을 사용한다.
• 로컬 특징을 분석하고 형태, 질감 및 맥락을 기반으로 오진을 거부함으로써 검출 결과를 검증하기 위해 CNN 기반의 공간적 확인 단계를 적용한다.
• 연속된 프레임 간에 탐지된 권총의 궤적을 모델링하여 운동 일관성을 검증하기 위해 LSTM 기반의 시간적 확인 단계를 구현한다.
• 각 단계에서 탐지 신뢰도를 정량화하기 위해 확인 수준(Confirmation Level, CL)을 할당하며, 높은 CL은 진짜 권총에 대한 강력한 증거를 의미한다.
• 모든 확인 수준를 통과한 검출 결과만 경고를 발생시키는 캐스케이드 아키텍처로 세 단계를 통합한다.
• 최근에 도입된 HandgunTrajector 데이터셋을 사용해 LSTM을 훈련시켜, 영상 시퀀스에서의 궤적 예측 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 LSTM를 사용한 시간 모델링이 단일 이미지 검출기로는 달성할 수 없는 범위를 초과해 권총 탐지 오진률을 감소시킬 수 있는가?
• RQ2 공간적 및 시간적 검증을 조합한 다단계 확인 시스템이 탐지 신뢰도 향상에 얼마나 효과적인가?
• RQ3 시공간 일관성은 반사 물체나 간헐적인 검출로 인한 오진을 어느 정도 수정할 수 있는가?
• RQ4 궤적 예측을 통해 부분적인 가림, 갑작스러운 조도 변화 또는 운동 흐림으로 인한 오진을 시스템이 복구할 수 있는가?
• RQ5 제안된 시스템은 오진률 감소 측면에서 최신 기술의 단일 이미지 검출기들과 비교해 정량적으로 어떻게 성과를 내는가?

주요 결과

• MULTICAST는 경고 시스템으로 사용할 경우 Faster R-CNN 대비 오진률을 80% 감소시켜 오진률을 80%에서 20%로 낮춘다.
• 반사나 맥락적으로 오해의 소지가 있는 물체(예: 유리에 비친 반사, 스마트폰 등)로 인한 간헐적인 오진의 60%를 제거한다.
• 반사 표면로 인한 지속적인 오진은 공간적 확인 단계에서 효과적으로 억제된다.
• 부분적인 가림, 급격한 조도 변화 또는 운동 흐림으로 인한 오진은 시간적 확인 단계에서 100% 복구된다.
• LSTM 기반 궤적 모델은 영상 간 권총 운동을 성공적으로 예측하여 초기 검출기에서 놓친 탐지를 복구할 수 있다.
• HandgunTrajector 데이터셋은 시간 모델의 효과적인 훈련을 가능하게 하여 실제 영상 환경에서의 시스템의 강건성에 기여한다.