[논문 리뷰] Crowd Transformer Network

Viresh Ranjan, Mubarak Shah외 1명|arXiv (Cornell University)|2019. 04. 04.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 6

한 줄 요약

이 논문은 지역적 컨볼루션 특징과 비국소 자기주의 메커니즘을 결합하여 군중 밀도 추정을 향상시키는 엔드 투 엔드 딥 러닝 모델인 커뮤니티 트랜스포머 네트워크(CTN)를 제안한다. 새로운 컨텍스트 다중 헤드 어텐션 모듈을 통합함으로써 CTN은 이전 방법에 비해 UCF-QNRF에서 평균 절대 오차(MAE)를 20% 감소시키고, UCF CC에서 15% 감소시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we tackle the problem of Crowd Counting, and present a crowd density estimation based approach for obtaining the crowd count. Most of the existing crowd counting approaches rely on local features for estimating the crowd density map. In this work, we investigate the usefulness of combining local with non-local features for crowd counting. We use convolution layers for extracting local features, and a type of self-attention mechanism for extracting non-local features. We combine the local and the non-local features, and use it for estimating crowd density map. We conduct experiments on three publicly available Crowd Counting datasets, and achieve significant improvement over the previous approaches.

연구 동기 및 목표

• 컨볼루션 네트워크에서 지역적 수용장에 의존하는 기존 군중 수세기 모델의 한계를 해결하기 위해.
• 완전 연결층을 사용하지 않고도 비국소적 장거리 맥락 정보를 통합함으로써 군중 밀도 추정을 향상시키기 위해.
• 밀도가 높은 군중 이미지에서 일반화 능력을 향상시키기 위해 지역적 컨볼루션 특징과 비국소 어텐션을 효과적으로 융합하는 엔드 투 엔드 학습 가능한 아키텍처를 개발하기 위해.
• 전역적 종속성을 포착하는 새로운 자기주의 메커니즘을 활용하여 군중 수세기에서 평균 절대 오차(MAE)를 감소시키기 위해.

제안 방법

• 모델은 입력 군중 이미지에서 지역적 공간 특징을 추출하기 위해 표준 컨볼루션 레이어를 사용한다.
• 특징 맵 전역에서 비국소적 장거리 상관관계를 포착하기 위해 컨텍스트 다중 헤드 어텐션 메커니즘이 도입된다.
• 지역적 특징과 비국소적 특징이 연결되어 공유된 특징 정제 헤드를 통해 처리되어 최종 군중 밀도 맵을 예측한다.
• 예측된 밀도 맵과 진짜 밀도 맵 간의 픽셀 단위 회귀 손실을 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 컨텍스트 다중 헤드 어텐션 메커니즘은 지역적 수용장 외부의 관련 공간 맥락에 주의를 기울임으로써 특징 표현을 향상시키기 위해 설계되었다.
• 모델는 UCF-QNRF 데이터셋에서 사전 학습된 가중치로 초기화되며, Shanghaitech 및 UCF CC와 같은 다른 데이터셋에서 미세조정된다.

실험 결과

연구 질문

• RQ1 지역적 컨볼루션 특징과 비국소 어텐션 메커니즘의 조합이 극도로 높은 군중 밀도를 가진 이미지에서 군중 밀도 추정을 향상시킬 수 있는가?
• RQ2 제안된 컨텍스트 다중 헤드 어텐션 메커니즘이 군중 수세기에서 장거리 상관관계를 모델링하는 데 있어 표준 자기주의와 비교해 어떻게 성능을 냈는가?
• RQ3 지역적 및 비국소적 특징을 융합하는 엔드 투 엔드 아키텍처가 기준 군중 수세기 데이터셋에서 다단계 또는 수작업 특징 기반 접근 방식보다 우수한 성능을 낼 수 있는가?
• RQ4 비국소적 특징의 통합이 밀도가 높은 군중 지역에서 잡음(가짜 양성)을 얼마나 줄이고 정확도를 향상시키는가?

주요 결과

• CTN은 이전 최신 기술 수준의 방법에 비해 UCF-QNRF 데이터셋에서 평균 절대 오차(MAE)를 20% 감소시켰다.
• UCF CC 데이터셋에서도 CTN은 이전 접근 방식에 비해 MAE를 15% 감소시켜 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• UCF-QNRF 및 UCF CC 양쪽 데이터셋에서 CTN은 모든 베이스라인 모델보다 MAE에서 뛰어난 성능을 보였으며, UCF CC에서 RMSE 기준으로 CP-CNN를 제외한 모든 모델을 앞섰다.
• Shanghaitech Part-A 데이터셋에서는 CTN이 MAE 기준으로 최고 성능을 기록했으며, 이는 이전 최신 기술 수준의 방법인 SANet을 능가하는 결과였다.
• 정성적 분석 결과, CTN은 지역적 특징 전용 베이스라인에 비해 밀도가 높은 군중 지역에서 잡음(가짜 양성)을 크게 감소시켰다.
• 실패 케이스에서는 대부분의 경우 지역적 전용 베이스라인보다 성능이 뛰어나지만, 가장 극단적인 밀도 이미지에서는 성능 저하가 발생했다.