[논문 리뷰] Detection, Tracking, and Counting Meets Drones in Crowds: A Benchmark

Longyin Wen, Dawei Du외 5명|arXiv (Cornell University)|2021. 05. 06.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 8

한 줄 요약

이 논문은 112개 클립, 33,600帧, 480만 개의 헤드 애너테이션을 포함한 대규모 드론 촬영 영상 벤치마크인 DroneCrowd와 함께, 조밀한 군중에서 동시 검출, 추적, 세기 측정을 위한 통합 모델인 공간-시간 이웃 인식 네트워크(STNNet)를 소개한다. STNNet은 다중 작업 학습을 통해 이웃 환경 손실을 활용하여 객체 간의 시간적 일관성을 강제함으로써, 밀도 추정, 국소화, 추적 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To promote the developments of object detection, tracking and counting algorithms in drone-captured videos, we construct a benchmark with a new drone-captured largescale dataset, named as DroneCrowd, formed by 112 video clips with 33,600 HD frames in various scenarios. Notably, we annotate 20,800 people trajectories with 4.8 million heads and several video-level attributes. Meanwhile, we design the Space-Time Neighbor-Aware Network (STNNet) as a strong baseline to solve object detection, tracking and counting jointly in dense crowds. STNNet is formed by the feature extraction module, followed by the density map estimation heads, and localization and association subnets. To exploit the context information of neighboring objects, we design the neighboring context loss to guide the association subnet training, which enforces consistent relative position of nearby objects in temporal domain. Extensive experiments on our DroneCrowd dataset demonstrate that STNNet performs favorably against the state-of-the-arts.

연구 동기 및 목표

• 드론 기반의 군중 수세기, 검출, 추적을 위한 대규모 공개 벤치마크 부족 문제를 해결하기 위해.
• 드론 촬영 영상에서 밀도 지도 추정, 객체 국소화, 다중 객체 추적을 동시에 수행하는 통합 딥러닝 프레임워크를 개발하기 위해.
• 근처 객체 간의 상대적 위치가 시간에 걸쳐 일관되게 유지되도록 유도하는 새로운 이웃 환경 손실을 설계하기 위해.
• 새로운 DroneCrowd 벤치마크에서 최신 기술 수준을 초월하는 강력한 베이스라인 모델(STNNet)을 구축하기 위해.

제안 방법

• STNNet은 다중 척도 특징을 추출하고 연속 프레임 간의 시간적 상관관계를 계산하기 위해 이중 분지 컨볼루션 신경망을 사용하는 특징 추출 하위 네트워크로 구성된다.
• 모델에는 군중 수세기용 밀도 지도 추정 헤드, 헤드 검출을 위한 분류 및 회귀 분지가 포함된 국소화 서브넷, 그리고 프레임 간 운동 오프셋을 예측하는 연관성 서브넷이 포함되어 있다.
• 시간에 걸쳐 인접 객체 간의 일관되지 않은 상대적 위치를 방지하기 위해 이웃 환경 손실이 도입되어 추적의 시간적 일관성을 향상시킨다.
• 이웃 환경 손실의 사이클 전략은 정방향 및 역방향 운동 오프셋을 모두 고려하여 궤적 추정의 강건성을 향상시킨다.
• 전체 네트워크는 다중 작업 손실과 Adam 옵timizer를 사용하여 엔드 투 엔드로 훈련되며, 장기 궤적 생성을 위해 최소 비용 흐름 또는 소셜-LSTM을 후처리로 적용한다.

실험 결과

연구 질문

• RQ1 제안된 STNNet 모델은 드론 촬영 영상에서 조밀한 군중의 검출, 추적, 세기 측정을 동시에 수행하는 데 얼마나 효과적인가?
• RQ2 근접한 객체 간의 공간-시간적 일관성을 강제함으로써 이웃 환경 손실이 국소화 및 추적 성능 향상에 얼마나 기여하는가?
• RQ3 국소화 및 연관성 서브넷을 포함시켰을 경우, 밀도 지도 전용 베이스라인 대비 전체 성능에 어떤 영향을 미치는가?
• RQ4 이웃 환경 손실에서 사이클 전략 또는 관계 제약 조건을 제거했을 경우, 추적 및 국소화 정확도에 어떤 영향을 미치는가?

주요 결과

• STNNet은 군중 국소화에서 40.45%의 L-mAP를 기록하여 두 번째로 우수한 성능을 보인 DM-Count보다 22.28%포인트 높게 기록했다.
• 국소화 서브넷이 없는 베이스라인 대비 평균 절대 오차(MAE)를 2.8, 평균 제곱 오차(MSE)를 3.5 감소시켜 정확도 향상에 핵심적인 역할을 함을 입증했다.
• STNNet은 추적에서 32.50%의 T-mAP를 기록하여 두 번째로 뛰어난 성능을 보인 DM-Count보다 15.49%포인트 높게 기록하여 뛰어난 추적 성능을 입증했다.
• 연관성 서브넷을 제거하면 T-mAP가 0.88%포인트 감소(32.50%에서 31.44%로)하여 궤적 일관성을 유지하는 데 중요한 역할을 함을 보여주었다.
• 사이클 전략을 포함한 이웃 환경 손실은 관계 제약 조건이 없는 변형 대비 L-mAP를 0.22%포인트 향상시키고 T-mAP를 0.24%포인트 향상시켜 효과를 확인했다.