[논문 리뷰] Deep Density-aware Count Regressor

Zhuojun Chen, Junhao Cheng외 4명|arXiv (Cornell University)|2019. 08. 09.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 10

한 줄 요약

이 논문은 다중 수준의 픽셀화를 통해 신호 대 잡음비(SNR)를 향상시키고 예측 오차를 감소시켜 인파 계수를 향상시키는 딥 디네시티 어웨어 카운트 리그레서를 제안한다. 학습 중에는 다중 레이어 기울기 융합을 도입하여 백본 네트워크가 여러 분기에서 학습하도록 하며, 추론 시에는 성능을 유지하면서도 속도를 높이기 위해 보조 분기를 분리한다. 이로 인해 공개 벤치마크에서 최신 기술 수준의 정확도와 효율성을 달성한다.

ABSTRACT

We seek to improve crowd counting as we perceive limits of currently prevalent density map estimation approach on both prediction accuracy and time efficiency. We leverage multilevel pixelation of density map as it helps improve SNR of training data and therefore, reduce prediction error. To achieve a better model, we introduce multilayer gradient fusion for training a density-aware global count regressor. More specifically, on training stage, a backbone network receives gradients from multiple branches to learn the density information, whereas those branches are to be detached to accelerate inference. By taking advantages of such method, our model improves benchmark results on public datasets and exhibits itself to be a new solution to crowd counting problems in practice.

연구 동기 및 목표

• 기존의 밀도 맵 추정 방법이 인파 계수에서 예측 정확도와 추론 효율성 측면에서 겪는 한계를 해결하기 위해.
• 밀도 맵의 다중 수준 픽셀화를 통해 학습 데이터의 신호 대 잡음비(SNR)를 향상시키기 위해.
• 다양한 스케일의 감독을 통해 밀도 정보를 효과적으로 포착하는 글로벌 카운트 리그레서를 개발하기 위해.
• 학습 후 보조 분기를 분리하여 추론 속도를 높이기 위해.
• 공개 인파 계수 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 밀도 맵의 다중 수준 픽셀화를 사용하여 학습 데이터의 SNR를 향상시키고 예측 오차를 감소시킨다.
• 백본 네트워크는 각각 다른 수준의 픽셀화에 해당하는 여러 분기에서 온 기울기를 통해 학습된다.
• 다중 레이어 기울기 융합을 통해 모델이 학습 중에 계층적인 밀도 표현을 학습할 수 있다.
• 추론 시에는 보조 분기를 분리하여 빠르고 효율적인 카운트 예측을 가능하게 한다.
• 모델은 전체 밀도 맵을 예측하는 대신 직접 총 인파 수를 회귀하도록 설계되어 있다.
• 전체 카운트에 대한 카운트 손실로 엔드 투 엔드로 학습되며, 더 나은 특징 학습을 위해 다중 스케일 감독을 활용한다.

실험 결과

연구 질문

• RQ1 밀도 맵의 다중 수준 픽셀화가 인파 계수에서 학습 데이터의 신호 대 잡음비(SNR)를 향상시킬 수 있는가?
• RQ2 다중 레이어 기울기 융합이 글로벌 카운트 리그레서에서 밀도 인식 특징을 학습하는 데 어떻게 기여하는가?
• RQ3 다중 분기 감독을 통해 학습된 모델가 높은 정확도를 달성하면서도 빠른 추론을 유지할 수 있는가?
• RQ4 제안된 방법이 정확도와 효율성 측면에서 기존의 밀도 맵 추정 접근 방식을 초월하는가?
• RQ5 분리된 추론 분기를 사용할 경우 성능은 유지되면서 얼마나 빠른 추론 속도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 공개 인파 계수 벤치마크에서 최신 기술 수준의 성능을 달성하여 기존의 밀도 맵 추정 방법보다 예측 정확도를 향상시켰다.
• 다중 수준 픽셀화가 학습 데이터의 SNR를 크게 향상시켜 예측 오차를 감소시켰다.
• 다중 레이어 기울기 융합을 활용함으로써 모델이 다양한 스케일에서 richer한 밀도 표현을 학습할 수 있었다.
• 학습 후 보조 분기를 분리함으로써 추론 속도가 크게 향상되었으며, 성능 손실 없이도 가능했다.
• 벤치마크 데이터셋에서 다양한 인파 밀도 상황에서도 강력한 일반화 능력과 강인성을 보였다.
• UCSD, 상하이테크, UCF-QNRF와 같은 표준 벤치마크에서 이전의 접근 방식과 비교해도 경쟁력 있거나 우수한 성능을 기록했다.