[논문 리뷰] Scene-Specific Pedestrian Detection Based on Parallel Vision

Wenwen Zhang, Kunfeng Wang외 3명|arXiv (Cornell University)|2017. 12. 23.

Advanced Neural Network Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 특정 장면의 가상 재구성에서 정확하게 레이블링된 합성 보행자 데이터를 생성하는 ACP 기반 병렬 시각 방법을 제안한다. 이를 통해 일반 보행자 검출기의 성능을 실제 환경에서 향상시킨다. 증강 현실을 활용해 현실적인 장면과 보행자 동작을 시뮬레이션함으로써 검출 정확도가 크게 향상되며, 특히 Town Center와 Atrium와 같은 도전적인 환경에서 두드러진다. 이는 가상 세계에서 생성된 합성 데이터가 실제 레이블이 없는 데이터로도 도메인 적응을 효과적으로 가능하게 한다는 것을 보여준다.

ABSTRACT

As a special type of object detection, pedestrian detection in generic scenes has made a significant progress trained with large amounts of labeled training data manually. While the models trained with generic dataset work bad when they are directly used in specific scenes. With special viewpoints, flow light and backgrounds, datasets from specific scenes are much different from the datasets from generic scenes. In order to make the generic scene pedestrian detectors work well in specific scenes, the labeled data from specific scenes are needed to adapt the models to the specific scenes. While labeling the data manually spends much time and money, especially for specific scenes, each time with a new specific scene, large amounts of images must be labeled. What's more, the labeling information is not so accurate in the pixels manually and different people make different labeling information. In this paper, we propose an ACP-based method, with augmented reality's help, we build the virtual world of specific scenes, and make people walking in the virtual scenes where it is possible for them to appear to solve this problem of lacking labeled data and the results show that data from virtual world is helpful to adapt generic pedestrian detectors to specific scenes.

연구 동기 및 목표

• 특정 실세계 장면에서 보행자 검출을 위한 레이블이 부족한 학습 데이터로 인해 일반 검출기의 성능이 저하되는 문제를 해결하기 위해.
• 새로운 장면에 대한 수동 레이블링의 높은 비용과 일관성 부족 문제를 해결하기 위해 대규모로 정밀한 픽셀 수준의 합성 데이터를 생성하기 위해.
• 가상 세계 시뮬레이션을 활용해 일반 보행자 검출기를 특정 장면에 효과적으로 도메인 적응시키기 위해.
• 증강 현실 기반 가상 장면에서 생성된 합성 데이터가 실제 데이터와 비교하여 검출 성능을 향상시킬 수 있음을 검증하기 위해.
• 병렬 시각 원리를 활용해 장면 특화 검출기 적응을 위한 확장 가능하고 저비용의 파ipeline을 구축하기 위해.

제안 방법

• 실세계 카메라 데이터와 깊이 정보를 사용하여 특정 장면(예: Town Center, Atrium, PETS 2009)의 3D 기하학적 구조를 재구성한다.
• 3D 인간 모델과 현실적인 걷기 행동을 사용하여 3D 가상 장면 내에서 보행자 동작을 시뮬레이션한다.
• 버텍스 기반 3D 렲팅을 사용해 다수의 시점에서 합성 영상 시퀀스를 렌더링하고 정확한 바운딩 박스 레이블을 포함한 이미지를 생성한다.
• 렌더링된 이미지와 해당 진짜 레이블을 보행자 검출기의 학습 데이터로 사용한다.
• 가상 장면에서 생성된 합성 데이터를 기반으로 DPM 및 Faster R-CNN 모델을 학습하고, Town Center, Atrium, PETS 2009의 실제 테스트 세트에서 평가한다.
• 가상 세계에서 검출 파이프라인을 시뮬레이션하고 최적화하기 위해 ACP(인공 사회, 계산 실험, 병렬 실행) 이론을 적용한다.

실험 결과

연구 질문

• RQ1 특정 장면의 가상 재구성에서 생성된 합성 데이터가 일반 보행자 검출기의 성능을 향상시킬 수 있는가?
• RQ2 합성 가상 데이터로 학습한 모델의 성능은 Pascal VOC 2007과 같은 일반 데이터셋으로 학습한 모델보다 장면 특화 검출 작업에서 어떻게 비교되는가?
• RQ3 가상 장면에서 생성된 합성 데이터가 일반 장면과 특정 장면 간의 도메인 갭을 어느 정도 줄이는가?
• RQ4 가상 세계 시뮬레이션은 복잡하거나 혼잡한 장면에서 수동 레이블링과 비교해 유사한 레이블 정확도를 제공할 수 있는가?
• RQ5 가상 장면 시뮬레이션은 새로운 배포 환경에서 높은 비용이 드는 수동 레이블링이 필요 없게 하는가?

주요 결과

• Town Center 가상 장면에서 합성 데이터로 학습한 Faster R-CNN 모델은 평균 정밀도(mAP)가 79.2%를 기록했으며, Pascal VOC 2007 데이터로 학습한 경우 45.2%에 그쳐 34%포인트의 향상이 있었다.
• Atrium 데이터셋에서는 합성 데이터로 mAP가 Pascal VOC 기반 47.5%에서 67%로 상승하여 12.5%포인트 향상되었으며, 이는 강력한 도메인 적응 능력을 보여준다.
• PETS 2009 데이터셋에서는 보행자 외관이 Pascal VOC와 유사하므로 성능 향상이 더 작았으며(0.9%포인트), 이는 합성 데이터가 도메인 갭이 큰 상황에서 가장 유익하다는 것을 시사한다.
• DPM 모델의 경우도 유의미한 성능 향상을 보였으며, Town Center에서는 mAP가 Pascal VOC 기반 30.8%에서 34.2%로 상승했고, Atrium에서는 45.4%에서 56.2%로 상승하여 다양한 모델에서 일관된 향상이 확인되었다.
• 정밀도-재현율 곡선은 모든 세 가지 평가 장면에서 합성 데이터가 일반 데이터보다 일관되게 뛰어난 성능을 보였으며, 특히 복잡하고 혼잡한 환경에서 두드러졌다.
• 결과적으로 정확한 3D 렌더링과 레이블링을 갖춘 가상 세계 시뮬레이션은 도메인 적응을 위한 수동 데이터 수집의 실현 가능하고 확장 가능한 대안이 될 수 있음을 검증했다.