[논문 리뷰] Distribution Matching for Crowd Counting

Boyu Wang, Huidong Liu외 2명|arXiv (Cornell University)|2020. 09. 28.

Video Surveillance and Tracking Methods참고 문헌 60인용 수 169

한 줄 요약

DM-Count는 최적수송을 사용하여 정규화된 예측 밀도 맵과 정규화된 실제 밀도 맵을 매칭하여 가우시안 스무딩을 피하고 여러 군중 수집 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

In crowd counting, each training image contains multiple people, where each person is annotated by a dot. Existing crowd counting methods need to use a Gaussian to smooth each annotated dot or to estimate the likelihood of every pixel given the annotated point. In this paper, we show that imposing Gaussians to annotations hurts generalization performance. Instead, we propose to use Distribution Matching for crowd COUNTing (DM-Count). In DM-Count, we use Optimal Transport (OT) to measure the similarity between the normalized predicted density map and the normalized ground truth density map. To stabilize OT computation, we include a Total Variation loss in our model. We show that the generalization error bound of DM-Count is tighter than that of the Gaussian smoothed methods. In terms of Mean Absolute Error, DM-Count outperforms the previous state-of-the-art methods by a large margin on two large-scale counting datasets, UCF-QNRF and NWPU, and achieves the state-of-the-art results on the ShanghaiTech and UCF-CC50 datasets. DM-Count reduced the error of the state-of-the-art published result by approximately 16%. Code is available at https://github.com/cvlab-stonybrook/DM-Count.

연구 동기 및 목표

• Gaussian smoothing of annotations가 군중 집계에서 일반화에 해를 끼친다는 점을 보여 연구를 자극한다.
• Gaussian smoothing 없이 예측 밀도 맵과 실제 밀도 맵을 비교하기 위해 Optimal Transport를 사용하는 분포 매칭 프레임워크(DM-Count)를 제안한다.
• Total Variation 손실로 OT 계산을 안정화하고 제안된 손실의 일반화 경계를 제공한다.
• 네 가지 대규모 군중 수 추정 벤치마크에서 이전 방법들에 비해 경험적 개선을 입증한다.

제안 방법

• 정수 집계 문제를 실제 점 주석과 예측 밀도 맵 간의 분포 매칭으로 정의한다.
• 정규화된 실제 밀도 맵과 예측 밀도 맵 간의 운송 기반 손실을 계산하기 위해 Optimal Transport를 사용한다.
• 총 질량의 절대 차이를 기반으로 한 집계 손실을 도입하여 카운트를 정렬한다.
• Sinkhorn 기반 OT 최적화를 안정화하고 저밀도 영역을 개선하기 위해 Total Variation 손실을 통합한다.
• 카운팅 손실, OT 손실, TV 손실을 가중치를 조정 가능한 단일 학습 목표로 결합한다.

실험 결과

연구 질문

• RQ1 Optimal Transport를 통한 분포 매칭이 Gaussian ground-truth smoothing 없이도 군중 집계를 개선할 수 있는가?
• RQ2 OT 기반 손실은 일반화 및 위치 정확도 측면에서 Gaussian-smoothed 및 Bayesian 손실과 비교하여 어떤 차이가 있는가?
• RQ3 OT에 대한 Sinkhorn 근사치를 사용할 때 안정성 향상(Total Variation)이 학습을 개선하는가?
• RQ4 DM-Count가 이전 최첨단 방법들과 비교하여 대규모 데이터셋에서 어떤 경험적 이점을 보여주는가?

주요 결과

• DM-Count는 MAE, RMSE, NAE에서 네 개 데이터셋(UCF-QNRF, NWPU, ShanghaiTech, UCF-CC50)에서 이전 최첨단 방법들을 능가한다.
• NWPU에서 DM-Count는 게시된 MAE와 NAE를 상당한 차이로 감소시킨다(예: MAE 105.4에서 88.4로; NAE 0.203에서 0.169로).
• DM-Count는 밀도 맵 품질도 향상시켜 핵심 벤치마크에서 픽셀 단위 및 Bayesian 손실보다 더 높은 PSNR 및 SSIM을 달성한다.
• 이론적 분석은 가우시안 스무딩된 실제 주석이 DM-Count 접근 방식보다 일반화 경계가 느슨해짐을 보여준다.
• 아블레이션 연구는 OT 손실이 가장 영향력 있는 구성요소이며 TV가 학습 중 안정성 이점을 제공한다는 것을 시사한다.
• DM-Count는 Gaussian-smoothed 또는 Bayesian 손실과 비교해 주석 노이즈에 대한 강건성을 보인다.