[논문 리뷰] A-CCNN: adaptive ccnn for density estimation and crowd counting

Saeed Amirgholipour Kasmani, Xiangjian He외 3명|arXiv (Cornell University)|2018. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 13인용 수 3

한 줄 요약

이 논문은 헤드 사이즈와 맥락적 단서를 바탕으로 국소 이미지 패치에 최적의 하이퍼파rameter를 동적으로 선택함으로써 군중 수세기 정확도를 향상시키는 적응형 카운팅 컨volution 신경망인 A-CCNN을 제안한다. 각 영역에 맞게 CCNN 모델을 맞춤화하기 위해 퍼지 추론 엔진을 활용함으로써 A-CCNN는 UCSD, UCF-CC, 그리고 시드니 기차역 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, UCSD에서 최저 MAE 1.35와 UCF-CC에서 367.3을 기록하였다.

ABSTRACT

Crowd counting, for estimating the number of people in a crowd using vision-based computer techniques, has attracted much interest in the research community. Although many attempts have been reported, real-world problems, such as huge variation in subjects' sizes in images and serious occlusion among people, make it still a challenging problem. In this paper, we propose an Adaptive Counting Convolutional Neural Network (A-CCNN) and consider the scale variation of objects in a frame adaptively so as to improve the accuracy of counting. Our method takes advantages of contextual information to provide more accurate and adaptive density maps and crowd counting in a scene. Extensively experimental evaluation is conducted using different benchmark datasets for object-counting and shows that the proposed approach is effective and outperforms state-of-the-art approaches.

연구 동기 및 목표

• 딥 러닝을 활용해 척도 변화와 심한 가림이 발생하는 상황에서의 군중 수세기 과제를 해결한다.
• 로컬 이미지 특성에 맞게 네트워크 동작을 적응시킴으로써 밀도 맵 추정 정확도를 향상시킨다.
• 모든 이미지 영역을 동일하게 취급하는 고정 아키텍처 CCNN 모델의 한계를 극복한다.
• 기차역과 같은 복잡한 실제 환경에서 강력하고 실시간으로 군중 수세기를 가능하게 한다.
• 모델 복잡도를 증가시키지 않으면서도 최신 기술 수준의 방법들을 능가하는 경량이고 적응형 프레임워크를 개발한다.

제안 방법

• 입력 이미지 내에서 헤드 사이즈와 위치를 추정하기 위해 CNN 기반의 헤드 검출 모델을 사용한다.
• 헤드 사이즈와 공간적 맥락을 최적의 CCNN 하이퍼파rameter(패치 크기 및 시그마)로 매핑하기 위해 퍼지 추론 엔진을 활용한다.
• 슬라이딩 윈도우 방식을 사용해 입력 이미지를 패치로 나누며, 각 패치는 동적으로 선택된 하이퍼파rameter를 가진 CCNN 모델에 의해 처리된다.
• 적응형 CCNN를 사용해 각 패치의 국소 밀도 맵을 생성하고, 이를 병합하여 완전한 전역 밀도 맵을 생성한다.
• 주변 영역의 맥락 정보를 활용해 하이퍼파ram터 선택을 향상시키고, 밀도가 높고 가려진 영역에서의 오차를 줄인다.
• 정답 밀도 맵을 애너테이션된 헤드 위치에 중심을 둔 2차원 가우시안 함수의 합으로 정의하는 회귀 기반 CCNN 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 대규모 척도 변화가 있는 환경에서 CCNN 하이퍼파라미터를 적응적으로 선택하면 밀도 추정 성능이 향상되는가?
• RQ2 국소 맥락 정보를 통합하면 극도로 가려진 환경에서 군중 수세기 정확도에 어떤 영향을 미치는가?
• RQ3 다중 브랜치 또는 스위칭 CNN보다 모델 복잡도를 증가시키지 않으면서도 단일 통합 아키텍처가 성능을 뛰어넘을 수 있는가?
• RQ4 퍼지 추론 엔진은 다양한 군중 밀도와 해상도에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 적응형 접근 방식은 시드니 기차역 영상과 같이 실제 환경, 저해상도, 그리고 극도로 변동성이 큰 데이터셋에서도 높은 성능을 유지하는가?

주요 결과

• A-CCNN는 UCSD 데이터셋에서 최저 평균 절대 오차(MAE) 1.35를 기록하여 이전의 모든 최신 기술 수준 방법들을 능가한다.
• UCSD 데이터셋에서 A-CCNN는 모든 서브셋에서 원본 CCNN 대비 8% 이상의 MAE 감소를 기록하였으며, 확대 서브셋에서는 최고 성능인 1.04를 달성하였다.
• UCF-CC 50 데이터셋에서 A-CCNN는 MAE 367.3을 기록하여 원본 CCNN(488.67) 대비 121.37의 향상률을 보였으며, 비교한 6개 방법 중 4개를 능가하였다.
• 시드니 기차역 데이터셋에서 A-CCNN는 C5 기준 MAE 1.69와 C9 기준 1.87을 기록하였으며, CCNN의 3.90과 4.23보다 뚜렷이 낮아, 가림과 척도 변화에 대한 강건성을 입증하였다.
• 제안된 방법은 저해상도, 극도의 가림, 대규모 크기 차이 등 다양한 조건에서도 높은 정확도를 유지하여 그 적응성의 우수성을 입증하였다.
• 간단한 구조임에도 불구하고, Switch-CNN나 Hydra-CCNN와 같은 복잡한 모델들을 따라하거나 능가하는 성능을 기록하여 뛰어난 효율성과 효과성을 입증하였다.