[논문 리뷰] Focus on Semantic Consistency for Cross-domain Crowd Understanding

Tao Han, Junyu Gao외 2명|arXiv (Cornell University)|2020. 02. 20.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 4

한 줄 요약

이 논문은 합성 및 실세계 인파 영상 간의 의미 일致성을 향상시키는 도메인 적응 프레임워크를 제안한다. 인파 영역에 초점을 맞추기 위해 의미 추출기(semantic extractor)를 도입하고, 고수준 특징을 정렬하기 위해 적대적 학습(adversarial learning)을 사용함으로써 배경 추정 오차를 감소시키고, 세 가지 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 기준 모델 대비 MAE 개선률은 31.3%이다.

ABSTRACT

For pixel-level crowd understanding, it is time-consuming and laborious in data collection and annotation. Some domain adaptation algorithms try to liberate it by training models with synthetic data, and the results in some recent works have proved the feasibility. However, we found that a mass of estimation errors in the background areas impede the performance of the existing methods. In this paper, we propose a domain adaptation method to eliminate it. According to the semantic consistency, a similar distribution in deep layer's features of the synthetic and real-world crowd area, we first introduce a semantic extractor to effectively distinguish crowd and background in high-level semantic information. Besides, to further enhance the adapted model, we adopt adversarial learning to align features in the semantic space. Experiments on three representative real datasets show that the proposed domain adaptation scheme achieves the state-of-the-art for cross-domain counting problems.

연구 동기 및 목표

• 합성 데이터를 사용할 때 배경 추정 오차가 높은 문제를 해결하기 위해.
• 합성 데이터(GCC)와 실세계 데이터(Shanghai Tech, UCF-QNRF) 간의 도메인 갭을 줄이기 위해.
• 인파 영역의 고수준 특징에서 의미 일치를 중시함으로써 인파 수세기 성능을 향상시키기 위해.
• 의미 감독과 적대적 특징 정렬을 모두 활용하는 도메인 적응 프레임워크를 개발하기 위해.
• 저밀도 및 고밀도 인파 수세기 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• GCC 데이터셋의 인파 마스크를 사용하여 의미 추출기 네트워크를 훈련시어, 인파 영역에 대한 고수준 의미 레이블을 생성한다.
• 소스(합성) 및 타겟(실세계) 이미지에서 깊은 특징을 추출하기 위해 배치 정규화를 적용한 VGG16 기반의 특징 추출기(feature extractor)를 사용한다.
• 의미 공간에서 소스 및 타겟 도메인의 깊은 특징 분포를 정렬하기 위해 특징 판별기(feature discriminator)를 활용하여 적대적 학습을 적용한다.
• 인파 수세기 손실, 의미 분할 손실, 적대적 손실을 조합한 다중 작업 손실 함수를 사용하여 모델을 동시에 최적화한다.
• 대규모 GCC 데이터셋에서 부정적인 도메인 시프트를 방지하기 위해 대표적인 이미지를 선택하기 위해 시나리오 정규화(scene regularization)를 적용한다.
• 학습은 Adam 옵timizer를 사용하고, 학습률 1e-5, 배치 크기 8로 480×640 크기의 자르기된 입력에서 수행된다.

실험 결과

연구 질문

• RQ1 고수준 특징에서 의미 일치에 초점을 맞추면 교차 도메인 인파 수세기에서 도메인 갭을 줄일 수 있는가?
• RQ2 인파 전용 의미 감독을 활용하면 합성 데이터에서 실세계 데이터로의 일반화 성능이 향상되는가?
• RQ3 의미 공간에서의 적대적 특징 정렬은 SE Cycle GAN과 같은 이미지 스타일 전이 방법보다 우월한가?
• RQ4 제안된 방법은 저밀도 및 고밀도 인파 데이터셋 모두에서 어떻게 성능을 발휘하는가?
• RQ5 기존 도메인 적응 접근법에 비해 배경 추정 오차는 어느 정도 감소하는가?

주요 결과

• Shanghai Tech Part B 데이터셋에서 제안된 방법은 MAE 16.9, MSE 24.7을 기록하여 기준 모델 대비 오차를 각각 31.3%, 26.7% 감소시켰다.
• UCF-QNRF 데이터셋에서 제안된 방법은 MAE와 MSE 모두에서 최신 기술 수준인 SE Cycle GAN을 능가하여 고밀도 시나리오에 대한 우수한 일반화 능력을 입증했다.
• 시각적 결과에서는 도메인 적응을 적용한 밀도 맵이 기준값에 훨씬 더 가까운 것으로 나타났으며, 특히 배경 영역에서 두드러진 개선이 관찰되었다.
• 예측된 밀도 맵의 품질이 향상되어 PSNR 및 SSIM 점수도 향상되었다.
• 제거 분석(ablation study) 결과, 의미 추출기와 적대적 정렬 모두 성능 향상에 기여하며, 의미 구성 요소가 배경 노이즈 감소에 핵심적인 역할을 한다는 것이 확인되었다.
• 이 프레임워크는 다양한 데이터셋에 잘 일반화되어 있으며, 저밀도(Shanghai Tech) 및 고밀도(UCF-QNRF) 인파 수세기 벤치마크에서 모두 최신 기술 수준 성능을 달성했다.