[논문 리뷰] Estimating People Flows to Better Count Them in Crowded Scenes

Weizhe Liu, Mathieu Salzmann외 1명|arXiv (Cornell University)|2019. 11. 25.

Video Surveillance and Tracking Methods참고 문헌 61인용 수 4

한 줄 요약

이 논문은 밀도 기반 추정에 강한 보존 제약 조건을 적용한 유동 기반 밀도 추정을 통해 붐비는 상황에서의 인파 수 세기 정확도를 향상시키기 위해 연속 프레임 간의 사람 유동을 추정하는 방법을 제안한다. 밀도를 직접 추정하는 대신 유동을 회귀하고 광학 유동 상관관계를 활용함으로써, 더 깊은 네트워크 없이도 최신 기술 수준의 성능을 달성하며, 기준 데이터셋에서 MAE를 최대 21.5%까지 감소시킨다.

ABSTRACT

Modern methods for counting people in crowded scenes rely on deep networks to estimate people densities in individual images. As such, only very few take advantage of temporal consistency in video sequences, and those that do only impose weak smoothness constraints across consecutive frames. In this paper, we advocate estimating people flows across image locations between consecutive images and inferring the people densities from these flows instead of directly regressing. This enables us to impose much stronger constraints encoding the conservation of the number of people. As a result, it significantly boosts performance without requiring a more complex architecture. Furthermore, it also enables us to exploit the correlation between people flow and optical flow to further improve the results. We will demonstrate that we consistently outperform state-of-the-art methods on five benchmark datasets.

연구 동기 및 목표

• 현재의 밀도 기반 방법보다 더 효과적으로 시간적 동역학을 모델링하여 붐비는 상황에서의 인파 수 세기를 향상시키는 것.
• 사람의 유동 보존을 통해 프레임 간 강력한 시간적 일관성을 확보하여 인위적인 개인의 생성 또는 손실을 방지하는 것.
• 광학 유동과 사람의 유동 간 상관관계를 활용하여 예측을 추가로 정규화하고 정확도를 향상시키는 것.
• 표준 네트워크 아키텍처를 사용하더라도, 유동 기반 추정이 직접 밀도 회귀보다 우수한 성능을 내는지 입증하는 것.
• 다양한 기준 데이터셋에서 방법을 검증하고 다양한 붐비는 상황에서 일관된 성능 향상을 보이는지 확인하는 것.

제안 방법

• 이 방법은 영상을 격자로 분할하고, 각 격자 셀당 10종류의 유동을 회귀한다: 이웃 셀 방향으로의 9개 유동과 외부로의 1개 유동으로, 그 중 하나는 그 자리에 머무는 사람을 나타낸다.
• 각 격자 위치의 사람 밀도는 들어오는 모든 유동의 합으로 계산되며, 이는 시간에 따른 사람 보존을 위해 유동 연속성에 기반한다.
• 새로운 손실 함수는 Eq. (1)과 (3)에서 유도된 바와 같이, 각 셀로 들어오는 순 유동이 밀도 변화와 정확히 일치하도록 엄격한 사람 보존을 보장한다.
• 이 방법은 두 연속 프레임에서의 유동을 회귀하기 위해 CAN 기반 네트워크를 사용하며, 운동 패턴을 일치시키기 위해 광학 유동에 추가로 감독을 제공한다.
• 이 방법은 이미지 평면 및 지면 평면 유동 추정을 모두 지원하며, 카메라 캘리브레이션이 가능할 경우 성능 향상이 더 뚜렷하다.
• 제거 분석은 유동 기반 회귀와 직접 밀도 회귀, 시간 평균, 약한 보존 제약 조건을 비교한다.

실험 결과

연구 질문

• RQ1 연속 프레임 간 사람의 유동을 모델링하는 것이 직접 밀도 회귀에 비해 인파 수 세기 정확도를 향상시키는가?
• RQ2 프레임 간 사람의 보존을 엄격히 강제하면 더 견고하고 정확한 밀도 추정이 가능한가?
• RQ3 광학 유동과 사람의 유동 간 상관관계를 활용하여 성능을 추가로 향상시킬 수 있는가?
• RQ4 더 깊거나 더 복잡한 네트워크 아키텍처가 필요 없이도 제안된 유동 기반 공식화가 기존 방법을 능가하는가?
• RQ5 이 방법은 다양한 데이터셋에서 어떻게 작동하며, 카메라 캘리브레이션 여부와 같은 다양한 조건에서 어떻게 성능을 보이는가?

주요 결과

• 기준 모델 대비 UCSD 데이터셋에서 MAE가 21.5% 감소하여, MAE가 0.98에서 0.81로 감소하였다.
• FDST 데이터셋에서는 RMSE가 기준 모델의 1.26에서 1.07로 감소하여, 다양한 지표에서 일관된 향상을 보였다.
• 제거 분석 결과, 강력한 보존 제약 조건을 적용한 유동 기반 추정(OURS-COMBI)이 약한 제약 조건(WEAK)과 직접 밀도 회귀(BASELINE)보다 우수한 성능을 보였다.
• 유동 회귀와 광학 유동 감독의 조합(OURS-COMBI)이 가장 뛰어난 성능을 보였으며, 이는 운동 상관관계가 정확도를 향상시킨다는 것을 시사한다.
• CrowdFlow, FDST, UCSD를 포함한 다섯 개의 기준 데이터셋에서, 이 방법은 최신 기술 수준의 접근법을 일관되게 능가하였다.
• 카메라 캘리브레이션을 활용해 지면 평면에서 적용한 경우, 성능 향상이 더욱 두드러졌으며, 보조 자료에서 이를 확인할 수 있다.