[논문 리뷰] C^3 Framework: An Open-source PyTorch Code for Crowd Counting

Junyu Gao, Wei Lin외 4명|arXiv (Cornell University)|2019. 07. 05.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 35

한 줄 요약

오픈 소스 PyTorch 코드 프레임워크(C3F)가 군중 집계에 대한 견고한 기준선, 주요 데이터셋에 대한 데이터 전처리 전략, 주류 방법의 재현성 및 강력한 실험 로깅 체계를 제공합니다.

ABSTRACT

This technical report attempts to provide efficient and solid kits addressed on the field of crowd counting, which is denoted as Crowd Counting Code Framework (C$^3$F). The contributions of C$^3$F are in three folds: 1) Some solid baseline networks are presented, which have achieved the state-of-the-arts. 2) Some flexible parameter setting strategies are provided to further promote the performance. 3) A powerful log system is developed to record the experiment process, which can enhance the reproducibility of each experiment. Our code is made publicly available at \url{https://github.com/gjy3035/C-3-Framework}. Furthermore, we also post a Chinese blog\footnote{\url{https://zhuanlan.zhihu.com/p/65650998}} to describe the details and insights of crowd counting.

연구 동기 및 목표

• 군중 집계 연구 및 벤치마킹을 위한 균일하고 효율적인 코드 인터페이스를 제공한다.
• density map 추정을 위한 AlexNet, VGG, 및 ResNet에서 파생된 견고한 기준선 모델을 제공한다.
• 공정한 비교를 가능하게 하는 데이터셋별 전처리 가이드라인을 Deliver 한다.
• 포괄적 로깅 시스템과 오픈 소스 도구를 통해 재현성을 Enable 한다.
• 주류 방법의 재현을 보여주어 공정한 벤치마킹을 촉진한다.

제안 방법

• Density map 회귀를 위해 AlexNet, VGG, 및 ResNet에서 적응된 견고한 기준선 네트워크를 제시한다.
• 1채널 밀도 맵을 생성하기 위해 맞춤형 업샘플링을 포함한 인코더-디코더 구조를 사용한다.
• UCF_CC_50, WorldExpo’10, SHTA, SHTB, UCF-QNRF, GCC를 포함한 여섯 데이터셋에 대한 영상 스케일 및 16으로 나누어지는 입력 크기를 포함한 전처리 전략을 제안한다.
• 레이블 변환 옵션으로 다운샘플링 및 정규화를 논의하되 PSNR/SSIM 문제로 무거운 밀도 맵 다운샘플링은 피할 것을 권장한다.
• C3F 프레임워크 내에서 MCNN, CMTL, CSRNet, SANet의 재현 연구를 제시하고 성능 향상을 위한 실용적 트릭을 제공한다.
• 커뮤니티 사용 및 기여를 위한 GitHub의 오픈 소스 코드베이스를 제공한다.

실험 결과

연구 질문

• RQ1 재현 가능하고 균일한 전처리 및 코드 인터페이스가 군중 집계 방법 간의 공정한 벤치마킹을 가능하게 하는가?
• RQ2 표준 백본(AlexNet, VGG, ResNet)이 통일된 C3F 프레임워크 내에서 밀도 맵 추정기로서 어떤 성능을 보이는가?
• RQ3 데이터셋별 입력 스케일 및 변환 전략이 일반 벤치마크에서의 카운팅 정확도(MAE/MSE)에 어떤 영향을 미치는가?
• RQ4 재현 트릭이 선도적 군중 집계 방법의 공개된 성능과 재현 결과를 어느 정도까지 맞춰줄 수 있는가?
• RQ5 중앙 집중식 로깅 시스템이 군중 집계 연구의 재현성과 추적성을 향상시키는가?

주요 결과

• ResNet 기반 모델은 테스트 구성에서 MAE 7.6–7.7 및 MSE 12.2–12.6의 강력한 성능을 달성한다.
• VGG 기반 구성이 MAE 약 10.3–10.5 및 MSE 약 16.0–17.4를 낳고, VGG+decoder는 더 선명한 밀도 맵을 제공한다.
• CSRNet의 재현 결과가 원문 figure에 근접하게 일치한다(원문 MAE 10.6, MSE 16.0 대 재현 10.6, 16.6).
• MCNN, CMTL, SANet의 재현은 일부 보고된 수치와 차이를 보이지만 SANet 재현이 원래 결과에 가장 근접하다(예: SANet 원문 8.4/13.6 대 재현 12.1/19.2).
• 프레임워크는 데이터 전처리 전략(이미지 스케일, 16으로의 입력 크기 나누기)을 제공하여 방법 간 공정한 비교를 용이하게 한다.
• C3F는 실험 간 재현성을 높이는 강력한 로깅 시스템을 포함한다.