[논문 리뷰] Deep Multi-camera People Detection

Tatjana Chavdarova, François Fleuret|arXiv (Cornell University)|2017. 02. 15.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 5

한 줄 요약

이 논문은 다중 동기화되고 겹치는 카메라 시야에서 시각적 특징을 종합적으로 융합하는 최초의 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 대규모 단일 시야 데이터셋에서 단일 카메라 보행자 검출기의 미세조정을 통해 강력한 기반 모델을 구축한 후, 작은 다중카메라 데이터셋에서 다중시야 아키텍처를 공동으로 훈련시킴으로써 PETS 2009 벤치마크에서 기존 방법보다 크게 뛰어난 성능을 달성한다. 배경 제거 기법을 사용하지 않으며, 가림을 더 잘 견디는 방식으로 구현된다.

ABSTRACT

This paper addresses the problem of multi-view people occupancy map estimation. Existing solutions for this problem either operate per-view, or rely on a background subtraction pre-processing. Both approaches lessen the detection performance as scenes become more crowded. The former does not exploit joint information, whereas the latter deals with ambiguous input due to the foreground blobs becoming more and more interconnected as the number of targets increases. Although deep learning algorithms have proven to excel on remarkably numerous computer vision tasks, such a method has not been applied yet to this problem. In large part this is due to the lack of large-scale multi-camera data-set. The core of our method is an architecture which makes use of monocular pedestrian data-set, available at larger scale then the multi-view ones, applies parallel processing to the multiple video streams, and jointly utilises it. Our end-to-end deep learning method outperforms existing methods by large margins on the commonly used PETS 2009 data-set. Furthermore, we make publicly available a new three-camera HD data-set. Our source code and trained models will be made available under an open-source license.

연구 동기 및 목표

• 배경 제거에 의존하는 기존 다중카메라 보행자 검출 방법의 한계를 해결하기 위해, 혼잡한 장면에서 상호 연결된 전경 블롭으로 인해 성능이 저하되는 문제를 해결한다.
• 딥 러닝을 활용해 다중시야 보행자 검출을 수행하며, 대규모 다중카메라 데이터셋의 부족함을 보완하기 위해 대규모 단일카메라 데이터셋에서의 지식 전이를 활용한다.
• 다중 카메라 스트림을 동시에 처리하고, 자동으로 시야 간 특징 대응 관계를 학습하는 공동 다중시야 검출 아키텍처를 개발한다.
• 향후 연구를 위해 향상된 캘리브레이션을 갖춘 고품질의 3카메라 HD 데이터셋을 새롭게 공개한다.

제안 방법

• 최신의 단일카메라 보행자 검출 네트워크(예: R-CNN 또는 Faster R-CNN)를 대규모 단일시야 보행자 데이터셋에서 미세조정하여 강력한 기반 모델을 구축한다.
• 시야 간 공유된 초기 합성곱층과 공유 가능한 학습 가능한 융합층을 사용하여, 다중시야 딥 네트워크를 구성함으로써 시야 간 특징 매핑을 학습한다.
• 작은 다중카메라 데이터셋에서 공동 다중시야 네트워크를 훈련시키며, 초기층은 미세조정된 단일카메라 모델 가중치로 초기화하여 수렴성과 성능을 향상시킨다.
• 배경 제거나 수작업 특징에 의존하지 않고, 모든 시야에서 검출 신뢰도와 정위치 정확도를 동시에 최적화하는 엔드 투 엔드 훈련 전략을 적용한다.
• 캘리브레이션 불일치에 대한 강건성을 향상시키기 위해 문맥 패딩과 데이터 정규화를 적용하며, 특히 경사가 있는 장면에서 효과적이다.
• 일반화 성능 평가를 위해 PETS 2009 데이터셋에서 다중 폴드 교차검증 전략을 사용하며, 별도의 훈련 및 테스트 분할을 통해 성능 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 배경 제거 및 수작업 특징에 의존하는 기존 다중카메라 보행자 검출 방법보다 엔드 투 엔드 딥 러닝 접근 방식이 우월한가?
• RQ2 딥 러닝 특징을 사용해 다중 카메라 시야를 공동 처리하면 혼잡한 장면에서 검출 정확도와 강건성이 향상되는가?
• RQ3 대규모 단일카메라 데이터셋에서 사전학습한 모델이 작은 다중카메라 데이터셋에서 미세조정을 통해 공동 검출에 효과적으로 일반화되는가?
• RQ4 다중 시야 간 캘리브레이션 불일치가 성능에 미치는 영향은 어느 정도이며, 모델이 이를 보완할 수 있는가?
• RQ5 PETS 2009 데이터셋의 7개 시야를 모두 사용할 경우, 알려진 캘리브레이션 문제를 가진 시야를 포함해도 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 PETS 2009 데이터셋에서 기존 최고 성능의 다중시야 방법보다 뛰어나며, 모든 7개의 시야를 사용할 경우 평균 정밀도(MODP)가 0.68을 기록하여 기존 최고 방법의 0.66보다 높다.
• PETS 2009 데이터의 일부를 사용해 미세조정한 경우, 평균 정밀도 검출 정확도(MODA)가 0.94를 기록하여 이전 방법들이 보고한 약 0.75~0.79 수준보다 뚜렷이 뛰어나다.
• 알려진 캘리브레이션 불일치가 있는 7개 시야를 모두 사용하더라도 성능 저하가 발생하지 않고, 오히려 약간의 향상이 관찰되어 캘리브레이션 오차에 강건함을 시사한다.
• 특정 데이터셋에 맞춘 정규화나 추가 미세조정 없이도 일반화 성능이 뛰어나며, 사전 미세조정 없이 전체 테스트 시퀀스에서 MODP가 0.75를 기록한다.
• 시야 간 시각적 특징 기반 융합을 통해 배경 제거 기반 방법에서 흔히 발생하는 비인간 전경 물체로 인한 오진을 효과적으로 걸러내는 데 기여한다.
• 다양한 무작위 훈련-테스트 분할에 걸쳐 높은 성능 안정성을 보이며, 성능 지표의 표준편차가 낮다(예: 미세조정 설정에서 MODP의 표준편차 0.02, 정밀도의 표준편차 0.01).