[논문 리뷰] Feature-aware Adaptation and Structured Density Alignment for Crowd Counting in Video Surveillance

Junyu Gao, Qi Wang외 1명|arXiv (Cornell University)|2019. 12. 08.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 9

한 줄 요약

이 논문은 합성 영상과 실제 감시 영상 간의 도메인 갭을 줄이는 커뮤니티 수세기 도메인 적응 방법을 제안한다. 다중 수준 특징 인식 적응(MFA)과 구조적 밀도 맵 정렬(SDA)을 결합함으로써 모델은 도메인 불변 특징을 학습하고 현실적인 밀도 맵을 생성하며, 네 개의 실제 감시 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the development of deep neural networks, the performance of crowd counting and pixel-wise density estimation are continually being refreshed. Despite this, there are still two challenging problems in this field: 1) current supervised learning needs a large amount of training data, but collecting and annotating them is difficult; 2) existing methods can not generalize well to the unseen domain. A recently released synthetic crowd dataset alleviates these two problems. However, the domain gap between the real-world data and synthetic images decreases the models' performance. To reduce the gap, in this paper, we propose a domain-adaptation-style crowd counting method, which can effectively adapt the model from synthetic data to the specific real-world scenes. It consists of Multi-level Feature-aware Adaptation (MFA) and Structured Density map Alignment (SDA). To be specific, MFA boosts the model to extract domain-invariant features from multiple layers. SDA guarantees the network outputs fine density maps with a reasonable distribution on the real domain. Finally, we evaluate the proposed method on four mainstream surveillance crowd datasets, Shanghai Tech Part B, WorldExpo'10, Mall and UCSD. Extensive experiments evidence that our approach outperforms the state-of-the-art methods for the same cross-domain counting problem.

연구 동기 및 목표

• 최근 공개된 합성 커뮤니티 데이터셋을 활용하여 실제 감시 영상에서의 레이블이 부족한 문제를 해결한다.
• 합성 학습 데이터와 실제 감시 환경 간의 도메인 갭을 줄여 모델의 일반화 능력을 향상시킨다.
• 합성 데이터로 학습된 커뮤니티 수세기 모델이 새로운 실제 도메인에서 잘 작동하도록 효과적으로 적응할 수 있도록 한다.
• 구조적 정렬을 통해 실제 시나리오에서 예측된 밀도 맵의 품질과 현실성을 향상시킨다.

제안 방법

• 다중 수준 특징 인식 적응(MFA)을 도입하여, 네트워크의 여러 계층에서 도메인 간 특징을 정렬함으로써 도메인 불변 표현을 추출한다.
• 구조적 밀도 맵 정렬(SDA)을 제안하여, 실제 데이터에서 현실적인 공간 분포를 가진 밀도 맵을 생성하도록 모델을 강제한다.
• MFA와 SDA를 통합된 프레임워크에 통합하여 학습 중에 특징 정렬과 밀도 맵의 현실성에 동시에 최적화한다.
• 실제 데이터 레이블이 필요 없이 도메인 이동을 최소화하는 도메인 적응 기반 학습 전략을 활용한다.
• 적대적 학습과 분포 매칭 기법을 적용하여 도메인 간 특징 및 밀도 맵의 일관성을 향상시킨다.
• 추가 레이블이 필요 없이 합성 데이터로 끝에서 끝까지 모델을 훈련하고, 실제 데이터에서 미세조정한다.

실험 결과

연구 질문

• RQ1 도메인 적응 프레임워크가 합성 영상과 실제 감시 영상 간의 도메인 갭을 효과적으로 줄일 수 있는가?
• RQ2 다중 수준 특징 정렬과 구조적 밀도 맵 정렬이 함께 작용할 때, 새로운 실제 도메인으로의 모델 일반화 능력이 어떻게 향상되는가?
• RQ3 제안된 방법이 실제 감시 데이터셋에서 기존의 교차 도메인 커뮤니티 수세기 접근법보다 얼마나 뛰어나게 성능을 냈는가?
• RQ4 MFA와 SDA의 통합이 실제 시나리오에서 더 현실적이고 정확한 밀도 맵을 생성하는 데 기여하는가?

주요 결과

• 제안된 방법은 상하이 기술 대학 Part B, 월드엑po'10, 몰, UCSD 등 네 가지 주요 감시 커뮤니티 수세기 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 모델은 추가적인 실제 데이터 레이블 없이도 합성 영상과 실제 영상 간의 도메인 갭을 크게 줄여 일반화 능력을 향상시킨다.
• 다중 수준 특징 인식 적응(MFA)은 여러 네트워크 계층에서 도메인 불변 특징를 효과적으로 캡처하여 특징의 강건성을 향상시킨다.
• 구조적 밀도 맵 정렬(SDA)은 실제 데이터에 대한 예측된 밀도 맵이 현실적인 공간 분포를 가지도록 보장하여 수세기 정확도를 향상시킨다.
• 광범위한 실험을 통해 MFA와 SDA의 조합이 동일한 평가 환경에서 기존의 교차 도메인 커뮤니티 수세기 방법보다 뛰어난 성능을 내는 것으로 확인되었다.
• 모델는 새로운 실제 환경에 잘 일반화되어 있으며, 합성에서 실제 감시 환경으로의 강력한 전이 능력을 보여준다.