[논문 리뷰] Depth Information Guided Crowd Counting for Complex Crowd Scenes

Mingliang Xu, Zhaoyang Ge외 5명|arXiv (Cornell University)|2018. 03. 03.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 9

한 줄 요약

이 논문은 깊이 지도를 활용해 확장된 심도 영역(EDOF) 이미지를 근거리 및 원거리 영역으로 분할하고, 근거리 영역에선 객체 검출을, 원거리 영역에선 밀도 맵 생성을 통해 보다 정확한 군중 수를 계산하는 DigCrowd라는 깊이 유도 군중 수 계산 방법을 제안한다. 다양한 데이터셋, 특히 1,000장의 이미지를 포함한 새로운 공항 기반 데이터셋에서 최신 기술 수준의 성능을 달성하며, 복잡하고 균형이 깨진 군중 상황에서도 뛰어난 정확도를 입증한다.

ABSTRACT

It is important to monitor and analyze crowd events for the sake of city safety. In an EDOF (extended depth of field) image with a crowded scene, the distribution of people is highly imbalanced. People far away from the camera look much smaller and often occlude each other heavily, while people close to the camera look larger. In such a case, it is difficult to accurately estimate the number of people by using one technique. In this paper, we propose a Depth Information Guided Crowd Counting (DigCrowd) method to deal with crowded EDOF scenes. DigCrowd first uses the depth information of an image to segment the scene into a far-view region and a near-view region. Then Digcrowd maps the far-view region to its crowd density map and uses a detection method to count the people in the near-view region. In addition, we introduce a new crowd dataset that contains 1000 images. Experimental results demonstrate the effectiveness of our DigCrowd method

연구 동기 및 목표

• 심도 변화로 인해 사람들의 크기와 가림 정도가 크게 변하는 확장된 심도 영역(EDOF) 영역에서의 군중 수 계산 정확도 향상을 위한 과제 해결.
• 높은 가림, 척도 변화, 비균일한 군중 분포 상황에서 실패하는 기존의 회귀 기반 및 검출 기반 방법의 한계를 극복.
• 심도 정보를 활용해 영역별로 맞춤형 수 계산 전략을 도입함으로써 정확도 향상을 위한 하이브리드 접근법 개발.
• 실제 공항 환경에서 촬영한 1,000장의 이미지를 포함한 새로운 대규모 실생활 데이터셋(CIISR) 제공을 통한 복잡한 군중 수 계산 연구 지원.
• 새로운 데이터셋 외에도 기존 벤치마크 데이터셋(Shanghaitech, Mall)에서의 일반화 능력 입증.

제안 방법

• 입력 이미지를 깊이 특징의 局부 유사도 기반으로 근거리(카메라에 가까운) 및 원거리(멀리 떨어진) 영역으로 분할하기 위해 깊이 맵을 사용.
• 근거리 영역에 YOLO 기반 프레임워크를 적용하여 높은 정밀도로 개인 수를 세며, 가림으로 인한 오소거기 감소.
• 심층 컨volution 신경망을 사용해 원거리 영역의 군중 밀도 맵을 생성함으로써, 높은 밀도 및 작은 객체 크기 조건에서도 회귀 기반 수 계산 가능.
• 공간적 맥락을 고려한 융합 전략을 통해 두 영역의 결과를 통합하여 중복 검출 감소 및 전체 정확도 향상.
• 검출 및 밀도 추정 목표를 통합한 다중 작업 손실을 사용해 엔드 투 엔드로 모델을 훈련시켜 공동 최적화 가능.
• 외부 데이터셋(예: Shanghaitech, Mall)에서의 미세조정을 통해 다양한 군중 상황에서의 이식성 및 강인성 입증.

실험 결과

연구 질문

• RQ1 심도 정보를 효과적으로 활용해 EDOF 영역을 근거리 및 원거리 영역으로 분할하여 군중 수 계산에서 척도 변화 및 가림 변화 문제를 해결할 수 있는가?
• RQ2 근거리 영역에선 객체 검출, 원거리 영역에선 밀도 추정을 조합함으로써 단일 방법 대비 정확도 향상이 이루어지는가?
• RQ3 제안된 DigCrowd 방법은 높은 가림과 비균일한 분포를 보이는 실제 복잡한 군중 상황에서 어떻게 성능을 발휘하는가?
• RQ4 장면 특성의 차이가 있는 기존 벤치마크 데이터셋(예: Shanghaitech, Mall)에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 공항 군중 상황의 대규모 신규 데이터셋은 더 강력하고 현실적인 군중 수 계산 시스템 평가를 지원할 수 있는가?

주요 결과

• Shanghaitech Part B 데이터셋에서 DigCrowd는 평균 절대 오차(MAE) 21.5와 평균 제곱 오차(MSE) 32.3을 기록하며, MCNN 및 YOLO를 포함한 기존 방법들을 능가하는 성능을 보였다.
• 새로 도입된 CIISR 데이터셋(1,000장의 공항 이미지)에서 DigCrowd는 최신 기술 수준의 성능을 달성하며, 극심한 심도 변화가 있는 실생활 EDOF 영역에서도 효과성을 입증했다.
• Mall 데이터셋에서 DigCrowd는 MAE 3.21과 MSE 16.4를 기록하며, RR(MAE: 3.59) 및 CA-RR(MAE: 3.43)와 같은 이전 방법들을 능가했으며, 강한 투영 왜곡과 반사가 있는 상황에서도 성능 유지를 보였다.
• 모델는 재학습 없이도 다양한 데이터셋에서 경쟁적인 성능을 기록하며 일반화 능력이 뛰어나 다양한 조명, 밀도, 장면 조건에 강인함을 보였다.
• 심도 기반 영역 분할은 특히 가림 상황에서 근거리 영역의 오소거기 수를 크게 감소시키고 검출 정확도를 향상시켰다.
• 제거 분석 결과, 근거리에선 검출, 원거리에선 밀도 추정을 조합한 하이브리드 접근법이 모든 데이터셋에서 단일 방법보다 뛰어난 성능을 내는 것으로 확인되었다.