[논문 리뷰] Semantic Driven Multi-Camera Pedestrian Detection

Alejandro López-Cifuentes, Marcos Escudero-Viñolo외 2명|arXiv (Cornell University)|2018. 12. 27.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

이 논문은 자동으로 추출된 의미 분할을 사용하여 공통된 관심 영역(AOI)을 정의하고 카메라 간 검출를 공동으로 최적화하는, 장면에 관계없이 적용 가능한 의미 기반 다중 카메라 보행자 검출 방법을 제안한다. 글로벌 최적화와 의미 정보를 활용함으로써, 시나리오별 정밀 조정이나 수동 AOI 주석이 필요 없이 혼잡하고 가림이 발생하는 장면에서도 검출 정확도를 향상시킨다. 다섯 개인 공개 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 시나리오에 특화된 보정 없이도 빠르게 구현 가능한 일반적인 솔루션을 제공한다.

ABSTRACT

In the current worldwide situation, pedestrian detection has reemerged as a pivotal tool for intelligent video-based systems aiming to solve tasks such as pedestrian tracking, social distancing monitoring or pedestrian mass counting. Pedestrian detection methods, even the top performing ones, are highly sensitive to occlusions among pedestrians, which dramatically degrades their performance in crowded scenarios. The generalization of multi-camera set-ups permits to better confront occlusions by combining information from different viewpoints. In this paper, we present a multi-camera approach to globally combine pedestrian detections leveraging automatically extracted scene context. Contrarily to the majority of the methods of the state-of-the-art, the proposed approach is scene-agnostic, not requiring a tailored adaptation to the target scenario extemdash e.g., via fine-tunning. This noteworthy attribute does not require extit{ad hoc} training with labelled data, expediting the deployment of the proposed method in real-world situations. Context information, obtained via semantic segmentation, is used 1) to automatically generate a common Area of Interest for the scene and all the cameras, avoiding the usual need of manually defining it; and 2) to obtain detections for each camera by solving a global optimization problem that maximizes coherence of detections both in each 2D image and in the 3D scene. This process yields tightly-fitted bounding boxes that circumvent occlusions or miss-detections. Experimental results on five publicly available datasets show that the proposed approach outperforms state-of-the-art multi-camera pedestrian detectors, even some specifically trained on the target scenario, signifying the versatility and robustness of the proposed method without requiring ad-hoc annotations nor human-guided configuration.

연구 동기 및 목표

• 다중 카메라 환경을 활용하여 혼잡하고 가림이 발생하기 쉬운 장면에서 보행자 검출 문제를 해결하기 위해.
• 다중 카메라 보행자 검출에서 수동 AOI 정의와 시나리오별 정밀 조정이 필요 없도록 하기 위해.
• 의미적 맥락과 글로벌 최적화를 활용해 카메라 간 검출를 융합함으로써 검출의 강인성과 정확도를 향상시키기 위해.
• 각 시나리오별 레이블이 필요한 학습 데이터 없이도 실제 영상 감시 환경에 구현 가능한 일반적인 솔루션을 개발하기 위해.

제안 방법

• 의미 분할을 사용하여 장면의 맥락을 추출하고, 지면 평면상에 장면 전체에 걸쳐 적용 가능한 역할 주석이 부여된 관심 영역(AOI)을 자동으로 정의한다.
• 최신 기술 기반 검출기(예: EfficientDet)에서 얻은 카메라별 검출 결과를 호모지어티 변환을 통해 공통 기준 평면에 투영한다.
• 그래프 기반 연결 요소 접근 방식을 통해 카메라 간 검출를 융합하여 공간적 일관성을 확보하고, AOI 외부의 잡음(가짜 양성)을 걸러낸다.
• 의미 기반 역투영 방법을 통해 다중 시야 정보를 집계함으로써 바운딩 박스를 정밀하게 보정하고, 가림으로 인한 오류를 줄인다.
• 글로벌 최적화 프레임워크를 통해 2D 이미지 공간과 3D 장면 공간 양쪽에서 검출 일관성을 극대화하여 조밀하게 맞는 일관된 검출 결과를 도출한다.
• 일반적인 의미적 신호에 의존함으로써 각 시나리오별 정밀 조정이 필요 없도록 하여, 새로운 환경에 빠르게 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 시나리오별 정밀 조정이나 수동 AOI 주석이 필요 없이 다중 카메라 보행자 검출 시스템이 높은 성능을 달성할 수 있는가?
• RQ2 의미 분할은 혼잡하고 가림이 발생하는 장면에서 다중 카메라 보행자 검출의 정확도와 강인성을 어떻게 향상시키는가?
• RQ3 장면에 관계없는 방법이 특별히 목표 데이터셋에 맞춰 훈련된 최신 기술보다 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 수동 주석이 부여된 AOI와 비교했을 때, 자동으로 생성된 AOI는 검출 성능과 일반화 능력 측면에서 어떻게 다른가?
• RQ5 의미적 신호를 활용한 글로벌 최적화가 자가 가림과 캘리브레이션 오류로 인한 검출 불일치 문제를 효과적으로 해결할 수 있는가?

주요 결과

• 제안된 방법은 PETS와 Wildtrack을 포함한 다섯 개인 공개 데이터셋에서 모든 정밀 조정이 없는 최신 기술보다 뛰어난 성능을 보였다.
• Wildtrack 데이터셋에서 저자들이 수동으로 주석한 AOI 기준으로 평가했을 때, 메서드는 전체 3위를 기록했으며, Top-DeepMCD는 8.33% 향상되고 DenseNet-DeepMCD는 3.17% 향상되었다.
• 최고 성능를 낸 메서드들과 동일한 AOI 기준으로 평가했을 때, 본 방법은 이전 버전인 GMC-3D에 비해 Re-ID 기능을 추가한 결과 17.85% 향상된 성능을 기록했다.
• PETS 데이터셋에서 본 방법은 해당 데이터셋에 대해 훈련되지 않았음에도 불구하고 Pre-DeepMCD 대비 45.45% 향상된 성능을 기록했다.
• 자동 생성된 AOI 사용 시 수동 주석 AOI보다 지면을 더 잘 커버하는 경향이 있었지만, 정답 데이터의 한계로 인해 성능은 略로 감소하였다. 이는 AOI 정의에 대한 본 방법의 강인성을 시사한다.
• 의미적 신호를 활용해 다각도의 시야에서의 가림과 검출 불일치 문제를 해결함으로써, 혼잡한 장면에서도 높은 정확도와 조밀한 바운딩 박스 피팅을 달성했다.