[논문 리뷰] Bayesian Loss for Crowd Count Estimation with Point Supervision

Zhiheng Ma, Xing Wei외 2명|arXiv (Cornell University)|2019. 08. 10.

Video Surveillance and Tracking Methods참고 문헌 59인용 수 66

한 줄 요약

본 논문은 점 주석을 이용한 군중 카운팅을 위한 베이지안 손실을 제안하고, 픽셀 단위 밀도 대신 카운트 기대값을 감독하며, 외부 탐지기 없이 주요 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

In crowd counting datasets, each person is annotated by a point, which is usually the center of the head. And the task is to estimate the total count in a crowd scene. Most of the state-of-the-art methods are based on density map estimation, which convert the sparse point annotations into a "ground truth" density map through a Gaussian kernel, and then use it as the learning target to train a density map estimator. However, such a "ground-truth" density map is imperfect due to occlusions, perspective effects, variations in object shapes, etc. On the contrary, we propose \emph{Bayesian loss}, a novel loss function which constructs a density contribution probability model from the point annotations. Instead of constraining the value at every pixel in the density map, the proposed training loss adopts a more reliable supervision on the count expectation at each annotated point. Without bells and whistles, the loss function makes substantial improvements over the baseline loss on all tested datasets. Moreover, our proposed loss function equipped with a standard backbone network, without using any external detectors or multi-scale architectures, plays favourably against the state of the arts. Our method outperforms previous best approaches by a large margin on the latest and largest UCF-QNRF dataset. The source code is available at \url{https://github.com/ZhihengCV/Baysian-Crowd-Counting}.

연구 동기 및 목표

• 점 주석을 이용한 군중 카운팅의 필요성과 정답 밀도 맵의 한계를 제시한다.
• 주석된 지점에서 카운트 기대치를 감독하는 베이지안 손실을 제안한다.
• 벤치마크 전반에서 강건성, 일반화 및 최첨단 성능을 보여준다.

제안 방법

• 점 주석으로부터 density 기여 확률 모델 p(xm|yn)를 구성한다.
• 동등한 사전확률을 갖는 베이즈 규칙을 사용해 사후확률 p(yn|xm)을 계산한다.
• 주석된 지점에서의 카운트 기대치를 감독하여 LBayes(= sum p(yn|xm)Dest(xm))를 정의한다.
• 백그라운드 픽셀을 모델링하기 위해 더미 백그라운드 포인트를 가진 백그라운드 레이블 y0로 확장한다(LBayes+).
• 정 localization 및 경계 분석을 위한 레이블 사후 엔트로피를 시각화한다.

실험 결과

연구 질문

• RQ1 카운트 중심의 베이지안 감독에 기반한 손실 함수가 표준 군중 카운팅 벤치마크에서 픽셀 단위 밀도 감독을 능가할 수 있는가?
• RQ2 더미 포인트를 가진 BAYESIAN+를 포함한 백그라운드 모델이 배경 픽셀 및 주석 노이즈에 대한 강건성을 향상시키는가?
• RQ3 다양한 백본 및 데이터셋에서 제안된 손실의 성능은 어떠한가?
• RQ4 가우시안 커널 매개변수와 여유 d가 성능과 강건성에 미치는 영향은 무엇인가?

주요 결과

• BAYESIAN+은 외부 탐지기나 다중 스케일 아키텍처 없이 네 가지 벤치마크 데이터셋에서 최첨단 정확도를 달성한다.
• BAYESIAN+은 모든 4개 데이터셋에서 일관되게 BAYESIAN보다 약 3% 향상시킨다.
• BAYESIAN과 BAYESIAN+ 모두 모든 데이터셋에서 BASELINE을 큰 폭으로 상회한다.
• UCF-QNRF에서 BAYESIAN+은 이전 최고 방법 CL-CNN보다 상당한 차이로 우수하다(보고된 바와 같이).
• 이 방법은 특히 밀집한 영역에서 밀도 지역화를 더 정확하게 수행하고 y0 모델링으로 배경 처리를 개선한다.