[논문 리뷰] Geometry-Based Multiple Camera Head Detection in Dense Crowds

Nicola Pellicanò, Emanuel Aldea외 1명|arXiv (Cornell University)|2018. 08. 02.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 6

한 줄 요약

이 논문은 다중 겹침 카메라를 사용하여 조밀한 군중에서 완전히 비지도 기반의 기하 기반 방법을 제안한다. 스테레오 MRF 최적화에 수직 퇴측점에 정렬된 고도 기울기 제약 조건을 적용하여, 보다 많은 시야를 확보하고, 외관 모델링이나 캘리브레이션 없이도 큰 영역에서 심하게 가림을 입은 보행자를 견고하게 탐지한다. 실외 어려운 환경에서도 높은 재현율과 정밀도를 달성한다.

ABSTRACT

This paper addresses the problem of head detection in crowded environments. Our detection is based entirely on the geometric consistency across cameras with overlapping fields of view, and no additional learning process is required. We propose a fully unsupervised method for inferring scene and camera geometry, in contrast to existing algorithms which require specific calibration procedures. Moreover, we avoid relying on the presence of body parts other than heads or on background subtraction, which have limited effectiveness under heavy clutter. We cast the head detection problem as a stereo MRF-based optimization of a dense pedestrian height map, and we introduce a constraint which aligns the height gradient according to the vertical vanishing point direction. We validate the method in an outdoor setting with varying pedestrian density levels. With only three views, our approach is able to detect simultaneously tens of heavily occluded pedestrians across a large, homogeneous area.

연구 동기 및 목표

• 기존 방법이 가림과 배경 노이즈로 인해 실패하는 조밀하고 혼잡한 실외 군중에서 머리 감지의 과제를 해결한다.
• 외관 모델, 배경 분離, 신체 부위 탐지에 의존하지 않는 완전히 비지도 방법을 개발한다.
• 수동 캘리브레이션 또는 레이블 데이터 없이도 기하 일관성과 장면 사전 지식만을 사용하여 다중 카메라에서 견고한 감지를 가능하게 한다.
• 발자국 가시성, 전경 분할, 조명 변화에 민감한 기존 방법의 한계를 극복한다.

제안 방법

• 조밀한 보행자 고도 지도 위에서 스테레오 마르코프 무작위장(MRF) 최적화를 통해 머리 감지를 공식화한다.
• 장면 기하학에 일관성을 유지하기 위해 고도 기울기를 수직 퇴측점 방향으로 정렬하는 기하 제약 조건을 도입한다.
• 학습, 외관 모델, 수동 애너테이션 없이도 광학적 데이터와 기하 사전 지식만을 사용한다.
• 겹치는 시야 간 기하 일관성을 기반으로 데이터에서 직접 카메라 자세와 지면 기하를 추정한다.
• 에너지 최소화 과정에서 광학 항과 기하 제약 조건의 균형을 맞추기 위해 파라미터 λ를 사용하여 정규화한다.
• 추적 트랙릿 일관성(임계값 θl)을 적용하여 잡음 있는 탐지 결과를 걸러내고 시간적 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습이나 외관 모델링 없이도 다중 카메라 간 기하 일관성만으로도 조밀한 군중에서 머리 감지를 달성할 수 있는가?
• RQ2 수직 퇴측점에 정렬된 고도 기울기 제약 조건은 가림이 심한 장면에서 감지의 견고성을 얼마나 향상시키는가?
• RQ3 기하 사전 지식만으로도 혼잡도가 높고 신체 부위의 가시성이 낮은 장면에서 감지를 얼마나 잘 수행할 수 있는가?
• RQ4 정규화 파라미터 λ와 트랙릿 임계값 θl은 다양한 군중 밀도에서 정밀도와 재현율에 어떻게 영향을 미치는가?
• RQ5 캘리브레이션 또는 수동 간섭 없이도 대규모 균일한 실외 영역에서 보행자를 탐지할 수 있는가?

주요 결과

• 단지 세 개의 카메라 시야만으로도, 심하게 가려진 수십 명의 보행자를 대규모 균일한 영역에서 탐지할 수 있다.
• 희박한 시퀀스(2969명의 보행자)에서 높은 정밀도와 재현율을 달성했으며, 성능은 정규화 파라미터 λ에 민감하게 영향을 받는다.
• 조밀한 시퀀스(18,567명의 보행자)에서도 강력한 성능 유지를 보였으며, 정밀도는 희박한 프레임이 일부 존재할 경우에만 영향을 받는다.
• 트랙릿 임계값 θl은 잡음 있는 궤적을 효과적으로 제거하며, 최적 성능은 θl = 1–3 범위에서 달성되며, 이를 초월하면 오히려 악영향을 미친다.
• 허위 양성 결과는 희박한 영역에서 지면 수준의 가짜 탐지에서 기인하며, 단일 피크 블롭은 비머리 객체를 머리로 잘못 식별할 수 있다.
• 기하 기반의 기초 덕분에 조명 변화와 시점 변화에 대해 견고하게 유지되며, 강도 상관관계나 전경 분할에 의존하지 않는다.