[논문 리뷰] Visual Compiler: Synthesizing a Scene-Specific Pedestrian Detector and Pose Estimator

Namhoon Lee, Xinshuo Weng외 5명|arXiv (Cornell University)|2016. 12. 15.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 9

한 줄 요약

이 논문은 단일 장면 이미지, 카메라 파라미터 및 기하학적 레이아웃만을 사용하여 장면별로 최적화된 보행자 검출기와 자세 추정기를 생성하는 Visual Compiler를 소개한다. 물리적으로 정확하고 기하학적으로 일관된 합성 보행자를 렌더링하여 정확한 애너테이션을 제공함으로써, 공간에 따라 변화하는 완전 컨volution 신경망(ScenePoseNet)을 훈련시킨다. 이는 순수하게 합성 데이터로만 훈련되었음에도 불구하고, 합성 및 실제 테스트 데이터 양쪽에서 실데이터로 훈련된 최신 기술 모델을 능가한다.

ABSTRACT

We introduce the concept of a Visual Compiler that generates a scene specific pedestrian detector and pose estimator without any pedestrian observations. Given a single image and auxiliary scene information in the form of camera parameters and geometric layout of the scene, the Visual Compiler first infers geometrically and photometrically accurate images of humans in that scene through the use of computer graphics rendering. Using these renders we learn a scene-and-region specific spatially-varying fully convolutional neural network, for simultaneous detection, pose estimation and segmentation of pedestrians. We demonstrate that when real human annotated data is scarce or non-existent, our data generation strategy can provide an excellent solution for bootstrapping human detection and pose estimation. Experimental results show that our approach outperforms off-the-shelf state-of-the-art pedestrian detectors and pose estimators that are trained on real data.

연구 동기 및 목표

• 실제 인간 애너테이션 데이터가 확보되지 않은 새로운 감시 환경에 정확한 보행자 검출 및 자세 추정을 구현하는 데 도전하는 것.
• 모델 훈련을 위한 고성능 물리 기반 합성 데이터를 생성함으로써 실데이터 훈련 의존도를 제거하는 것.
• 고수준의 장면 사양에서 자동으로 장면별 시각 프로그램(딥 뉴럴 네트워크)을 컴파일하는 시스템을 개발하는 것.
• 기하학적·광학적으로 정확한 합성 데이터만으로도 실데이터로 훈련된 모델을 능가하는 성능을 낼 수 있음을 입증하는 것.
• 수동 데이터 수집 없이도 새로운 환경에 고정밀 보행자 분석 시스템을 신속하게 구현할 수 있도록 하는 것.

제안 방법

• Visual Compiler는 장면 기술서(단일 이미지, 카메라 파라미터, 원시 3D 레이아웃)를 입력으로 받아 렌더링 엔진을 제어한다.
• 장면 내에서 자세, 의복, 3D 위치가 다양한 물리 기반의 기하학적으로 정확한 합성 보행자 렌더링을 생성한다.
• 이 렌더링에는 검출, 신체 부위 위치, 인스턴스 세그멘테이션 마스크에 대한 노이즈 없는 정밀 애너테이션이 포함되어 있다.
• 공간에 따라 변화하는 완전 컨volution 신경망인 ScenePoseNet은 이러한 합성 데이터를 기반으로 엔드 투 엔드로 훈련되어 보행자 검출, 자세 추정, 세그멘테이션을 동시에 수행한다.
• 특징 학습과 훈련 안정성을 향상시키기 위해 스택형 공간-신뢰도(SB) 유닛과 스킵 연결을 사용한다.
• 모델은 실데이터를 전혀 사용하지 않고 순수하게 합성 데이터로만 훈련되며, 실제 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 장면 기하학과 카메라 파라미터에서 유도된 합성 데이터만으로 장면별 보행자 검출기 및 자세 추정기를 효과적으로 훈련시킬 수 있는가?
• RQ2 기하학적·광학적으로 정확한 합성 데이터가 실데이터로 훈련된 모델보다 검출 및 자세 추정 정확도에서 뛰어나게 되는가?
• RQ3 보행자 자세와 방향을 샘플링할 때 사전 지식을 활용하는 것이 모델 성능에 어떤 영향을 미치는가?
• RQ4 스택형 SB 유닛과 스킵 연결과 같은 아키텍처 구성 요소가 훈련 및 추론에 어떤 영향을 미치는가?
• RQ5 합성 데이터로만 훈련된 단일 통합 모델이 피팅 튜닝 없이도 실제 테스트 데이터에 잘 일반화되는가?

주요 결과

• ScenePoseNet는 순수하게 합성 데이터로만 훈련되었음에도 불구하고, PETS2006 및 Towncenter 데이터셋에서 실데이터로 훈련된 모든 베이스라인 모델을 능가한다.
• PETS2006 데이터셋에서 평균 정밀도(mAP)는 85.7%이며, Towncenter 데이터셋에서는 87.3%를 기록하여 최신 실데이터 기반 모델을 초월한다.
• 보행자 자세와 방향을 샘플링할 때 사전 지식을 활용하면 균일한 샘플링보다 성능 향상이 뚜렷하며, 50,000장의 합성 훈련 렌더링으로 최적 성능에 도달했다.
• 두 번째 공간-신뢰도(SB) 유닛을 추가하면 성능 향상이 두드러지지만, 세 번째 유닛은 추가적인 성능 향상이 미미하다.
• 스킵 연결은 훈련 안정성에 결정적인 역할을 하였으며, 이를 생략한 모델은 수렴하지 못했다.
• ScenePoseNet는 프레임당 0.18초 내로 처리가 가능하여, 가장 빠른 베이스라인 조합(Faster R-CNN + CPM)의 0.37초보다 100% 이상 빠르다.