[논문 리뷰] Plug-and-Play Rescaling Based Crowd Counting in Static Images

Usman Sajid, Guanghui Wang|arXiv (Cornell University)|2020. 01. 06.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 7

한 줄 요약

이 논문은 정적 이미지에서 인파 수를 세는 데 사용할 수 있는 플러그-앤플레이(Plug-and-Play) 패치 재스케일링 모듈(Patch Rescaling Module, PRM)을 제안한다. 이 모듈은 4개의 클래스 분류 기반으로 이미지 패치를 동적으로 재스케일링하여 인파의 다양성을 다루고 잡음이 많은 배경 영역을 제거한다. 이 방법은 복잡한 배경으로 인한 과도한 추정을 줄임으로써 최신 기술 대비 최대 10.4%의 상대적 RMSE 향상과 다양한 데이터셋 간 우수한 일반화 성능을 달성한다.

ABSTRACT

Crowd counting is a challenging problem especially in the presence of huge crowd diversity across images and complex cluttered crowd-like background regions, where most previous approaches do not generalize well and consequently produce either huge crowd underestimation or overestimation. To address these challenges, we propose a new image patch rescaling module (PRM) and three independent PRM employed crowd counting methods. The proposed frameworks use the PRM module to rescale the image regions (patches) that require special treatment, whereas the classification process helps in recognizing and discarding any cluttered crowd-like background regions which may result in overestimation. Experiments on three standard benchmarks and cross-dataset evaluation show that our approach outperforms the state-of-the-art models in the RMSE evaluation metric with an improvement up to 10.4%, and possesses superior generalization ability to new datasets.

연구 동기 및 목표

• 정적 이미지에서 잡음이 많고 인파와 유사한 배경 영역으로 인한 인파 과도 추정 문제를 해결한다.
• 다양한 인파 밀도와 복잡한 배경 환경에서 일반화 능력에 한계를 가진 기존 방법의 한계를 극복한다.
• 계산 비용이 높은 다중 컬럼 또는 다중 회귀 아키텍처를 대체할 수 있는 경량이고 모듈식인 솔루션을 개발한다.
• 콘텐츠 분류 기반으로 스마트하게 패치를 재스케일링하여 인파 수 세기 정확도와 강인성을 향상시킨다.
• 표준 벤치마크에서의 교차 데이터셋 평가를 통해 뛰어난 일반화 능력을 입증한다.

제안 방법

• 이미지 패치를 저밀도 인파(LC), 고밀도 인파(HC), 중간밀도 인파(MC), 인파 없음(NC)의 4개 클래스로 분류하는 패치 재스케일링 모듈(PRM)을 제안한다.
• 4방향 분류 헤드를 사용하여 각 패치를 적절한 PRM 재스케일링 연산(LC 또는 HC)으로 라우팅하거나, NC로 분류된 경우 버린다.
• 패치의 분류 결과에 따라 스케일에 특화된 재스케일링을 적용하여 정확한 밀도 추정을 위한 특징 표현을 향상시킨다.
• PRM을 CC-1P, CC-2P, CC-Mod 세 가지 다른 인파 수 세기 프레임워크에 플러그-앤플레이 모듈로 통합하여 모듈식이고 종단 간(end-to-end) 학습이 가능하게 한다.
• 추론 중에 인파가 없는 패치(NC)를 제거하여 특히 밀도 높은 인파를 닮은 영역에서의 과도한 추정을 방지한다.
• RMSE와 MAE를 주요 지표로 삼아 세 가지 표준 벤치마크에서 프레임워크를 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 잡음이 많고 인파와 유사한 배경 영역으로 인한 과도한 추정을 줄일 수 있는 경량이고 모듈식인 패치 재스케일링 메커니즘이 가능한가?
• RQ2 최신 기술 대비 PRM 모듈이 다양한 인파 밀도와 복잡한 장면에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 4개 클래스의 패치 분류(LC, HC, MC, NC)가 인파 수 세기 정확도와 강인성에 어느 정도 기여하는가?
• RQ4 다중 컬럼 또는 다중 회귀 아키텍처에 비해 플러그-앤플레이 PRM이 정확도와 계산 효율성 측면에서 뛰어난가?
• RQ5 특히 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트할 때 PRM의 교차 데이터셋 일반화 능력은 얼마나 효과적인가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 최신 기술 대비 최대 10.4%의 상대적 RMSE 향상을 달성한다.
• UCF-QNRF 데이터셋에서 교차 데이터셋 평가 시 MAE는 301에서 219로, RMSE는 457에서 305로 감소하여 뛰어난 일반화 능력을 입증한다.
• 모든 데이터셋에서 테스트 이미지 패치의 최소 14.25%에서 최대 29.4%까지 PRM 모듈이 적용되어 빈번하고 효과적인 사용이 이루어짐을 나타낸다.
• 평균적으로 테스트 패치의 30.9%에서 36.2%가 인파 없음(NC)으로 분류되어 제거되어 잠재적인 과도한 추정을 방지한다.
• 제거 실험 결과, CC-2P 프레임워크에서 PRM을 제거할 경우 RMSE가 38.3% 증가하고 MAE는 43.75% 증가함을 확인하여 PRM의 핵심적 역할을 입증한다.
• 정성적 결과는 직접 회귀 및 밀도 맵 추정 기반 모델 대비 제안 방법이 진짜 값에 훨씬 가까운 인파 추정을 생성함을 보여준다.