[논문 리뷰] Domain-adaptive Crowd Counting via Inter-domain Features Segregation and Gaussian-prior Reconstruction

Junyu Gao, Tao Han외 2명|arXiv (Cornell University)|2019. 12. 08.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 33

한 줄 요약

이 논문은 인터도메인 특징 분리(IFS)를 사용하여 합성 및 실세계 인파 데이터 간의 도메인 갭을 줄이고, 가우시안-프리오르 재구성(GPR)을 통해 밀도 맵 품질을 향상시키는 도메인 적응형 인파 세기(DACC) 프레임워크를 제안한다. 합성 이미지를 현실적인 분포로 변환하고, 굵은 예측에서 허위 레이블을 생성함으로써, DACC는 수동 레이블링 없이도 여섯 개인 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, crowd counting using supervised learning achieves a remarkable improvement. Nevertheless, most counters rely on a large amount of manually labeled data. With the release of synthetic crowd data, a potential alternative is transferring knowledge from them to real data without any manual label. However, there is no method to effectively suppress domain gaps and output elaborate density maps during the transferring. To remedy the above problems, this paper proposed a Domain-Adaptive Crowd Counting (DACC) framework, which consists of Inter-domain Features Segregation (IFS) and Gaussian-prior Reconstruction (GPR). To be specific, IFS translates synthetic data to realistic images, which contains domain-shared features extraction and domain-independent features decoration. Then a coarse counter is trained on translated data and applied to the real world. Moreover, according to the coarse predictions, GPR generates pseudo labels to improve the prediction quality of the real data. Next, we retrain a final counter using these pseudo labels. Adaptation experiments on six real-world datasets demonstrate that the proposed method outperforms the state-of-the-art methods. Furthermore, the code and pre-trained models will be released as soon as possible.

연구 동기 및 목표

• 인파 세기에서 합성 및 실세계 인파 데이터 간의 도메인 갭을 해결하기 위해.
• 수동 레이블링 없이도 합성 데이터에서 실세계 데이터로 효과적인 지식 전이를 가능하게 하기 위해.
• 허위 레이블링을 통해 실세계 상황에서의 밀도 맵 품질을 향상시키기 위해.
• 다양한 실세계 데이터셋에 일반화되는 도메인 적응형 프레임워크를 개발하기 위해.

제안 방법

• 인터도메인 특징 분리(IFS)는 도메인 공유 특징을 추출하고 도메인 독립적 구성요소로 장식함으로써 합성 이미지를 현실적인 분포로 변환한다.
• 번역된 합성 데이터에서 굵은 카운터를 훈련시켜 실세계 적응을 위한 초기 밀도 맵을 생성한다.
• 가우시안-프리오르 재구성(GPR)은 굵은 예측에서 가우시안 프리오르를 사용하여 고품질의 허위 레이블을 생성하여 실세계 밀도 맵을 정밀하게 보완한다.
• 최종 카운터는 생성된 허위 레이블을 사용하여 재훈련되어 실세계 데이터에서의 성능을 향상시킨다.
• 프레임워크는 여섯 개인 실세계 데이터셋을 대상으로 평가되어 도메인 적응의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 지식 전이 과정에서 합성 및 실세계 인파 데이터 간의 도메인 갭을 효과적으로 억제할 수 있는가?
• RQ2 굵은 예측 기반의 허위 레이블링이 실세계 인파 세기에서 밀도 맵 품질을 향상시킬 수 있는가?
• RQ3 제안된 DACC 프레임워크는 다양한 실세계 인파 세기 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 IFS와 GPR의 통합이 인파 밀도 추정 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 DACC 프레임워크는 여섯 개인 실세계 인파 세기 데이터셋에서 최신 기술 수준의 방법들을 능가한다.
• 인터도메인 특징 분리(IFS)는 합성 데이터를 현실적인 분포로 변환함으로써 도메인 이동을 성공적으로 줄였다.
• 가우시안-프리오르 재구성(GPR)은 굵은 출력에서 정확한 허위 레이블을 생성함으로써 예측 품질을 효과적으로 향상시켰다.
• 이 방법은 수동 레이블링이 전혀 필요 없이도 실세계 데이터에서 고정밀 인파 세기 성능을 달성할 수 있게 하였다.