[논문 리뷰] The WILDTRACK Multi-Camera Person Dataset

Tatjana Chavdarova, Pierre Baqué외 7명|arXiv (Cornell University)|2017. 07. 28.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 10

한 줄 요약

WILDTRACK 데이터셋은 일곱 대의 동기화된 HD 카메라, 정밀한 캘리브레이션, 3차원 경계상자 레이블이 포함된 대규모 고해상도 다중카메라 인체 검출 기준을 제공한다. 이는 다중 시점 보행자 검출 및 캘리브레이션을 위한 고도화된 딥러닝 기법의 개발을 가능하게 하며, 이전 데이터셋에 비해 규모, 정확도, 다중 시점 및 단일 시점 검출 연구에 대한 유용성 측면에서 뛰어나다.

ABSTRACT

People detection methods are highly sensitive to the perpetual occlusions among the targets. As multi-camera set-ups become more frequently encountered, joint exploitation of the across views information would allow for improved detection performances. We provide a large-scale HD dataset named WILDTRACK which finally makes advanced deep learning methods applicable to this problem. The seven-static-camera set-up captures realistic and challenging scenarios of walking people. Notably, its camera calibration with jointly high-precision projection widens the range of algorithms which may make use of this dataset. In aim to help accelerate the research on automatic camera calibration, such annotations also accompany this dataset. Furthermore, the rich-in-appearance visual context of the pedestrian class makes this dataset attractive for monocular pedestrian detection as well, since: the HD cameras are placed relatively close to the people, and the size of the dataset further increases seven-fold. In summary, we overview existing multi-camera datasets and detection methods, enumerate details of our dataset, and we benchmark multi-camera state of the art detectors on this new dataset.

연구 동기 및 목표

• 보행자 검출을 위한 대규모 고정밀 다중카메라 데이터셋의 부족을 해결하기 위해.
• 딥러닝 기반 다중 시점 검출 및 카메라 캘리브레이션 알고리즘의 개발과 벤치마킹을 가능하게 하기 위해.
• 공동 캘리브레이션된 카메라와 풍부한 시각적 맥락을 제공하여 검출의 강건성을 향상시키기 위해.
• 고해상도 및 고밀도 레이블링 데이터를 통해 다중 시점 검출과 단일 시점 검출 연구를 모두 지원하기 위해.
• 캘리브레이션 기준값 레이블과 캘리브레이션 패턴을 통해 자동 카메라 캘리브레이션의 발전을 촉진하기 위해.

제안 방법

• 데이터셋은 실외 환경에 설치된 일곱 대의 정적 HD 카메라를 사용해 촬영되었으며, 상호 겹치는 시야를 가짐.
• 3차원 기준값 측정치와 가시 체스보드 패턴을 이용해 캘리브레이션을 수행하였으며, 3차원-2차원 대응점을 활용해 번들 조정을 실시함.
• 모든 시점에서 동시에 3차원 경계상자 레이블링이 가능한 맞춤형 웹 기반 레이블링 툴을 개발함으로써 레이블링 정확도와 효율성을 향상시킴.
• 레이블러들은 각 카메라 시점에 투영된 3차원 실린더 모델을 사용하여 동일한 보행자가 모든 시점에서 가장 잘 맞도록 위치를 조정함.
• 레이블링 과정은 훈련된 레이블러들이 참여한 Amazon Mechanical Turk를 통해 수행되었으며, 이전 프레임의 레이블을 로드하고 수정함으로써 속도와 일관성을 향상시킴.
• 데이터셋에는 3차원 경계상자, 2차원 투영, 캘리브레이션 파라미터, 외부 및 내부 캘리브레이션을 위한 기준값 3차원 점이 포함됨.

실험 결과

연구 질문

• RQ1 대규모 고정밀 다중카메라 데이터셋이 다중 시점 보행자 검출 모델의 성능에 어떤 영향을 미치는가?
• RQ2 여러 시점에서의 공동 3차원 레이블링이 검출 정확도 향상과 음영에 대한 강건성 향상에 어느 정도 기여하는가?
• RQ3 WILDTRACK 데이터셋은 고도화된 카메라 캘리브레이션 알고리즘의 개발과 벤치마킹을 지원할 수 있는가?
• RQ4 고해상도 및 고밀도 시각적 맥락이 단일 시점 보행자 검출 성능에 어떤 영향을 미치는가?
• RQ5 다중 동기화 카메라를 통해 3차원 보행자 위치를 레이블링하는 데 발생하는 실질적 과제와 한계는 무엇인가?

주요 결과

• WILDTRACK 데이터셋은 7대의 카메라에서 10만 개 이상의 3차원 경계상자 레이블을 포함하고 있으며, 고해상도 HD 영상과 정밀한 캘리브레이션을 제공함.
• 캘테크 보행자 데이터셋보다 7배 더 큰 규모로, 딥러닝 모델 훈련에 적합함.
• 동기화된 체스보드 패턴과 기준값 3차원 점의 포함으로 고정밀 번들 조정 및 캘리브레이션 평가가 가능함.
• 맞춤형 레이블링 툴을 통해 이전 프레임 레이블을 재사용할 경우 레이블링 시간이 50% 감소하였으며, 훈련된 레이블러들이 높은 정확도를 달성함.
• 풍부한 시각적 맥락 덕분에 다중 시점 검출과 단일 시점 검출 모두 지원되며, 모델의 일반화 능력 향상에 기여함.
• WILDTRACK에서의 벤치마킹 결과, 딥러닝 기반 다중 시점 검출기들이 전통적 방법보다 뚜렷이 뛰어난 성능을 보이며, 특히 음영 조건에서 두각을 나타냄.