[논문 리뷰] Divide and Grow: Capturing Huge Diversity in Crowd Images with Incrementally Growing CNN

Deepak Babu Sam, Neeraj N Sajjan외 1명|ePrints-IISc. (Indian Institute of Science Bangalore)|2018. 07. 26.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 9

한 줄 요약

이 논문은 차등 학습을 통해 기본 CNN을 점진적으로 분할하여 점차 정교해지는 회귀기로 구성되는 계층적 딥러닝 프레임워크인 Incrementally Growing CNN(IG-CNN)을 제안한다. 이 방법은 수작업 기준 없이 잠재적 특성(예: 군중 밀도)을 탐색함으로써 주요 군중 수세기 벤치마크에서 최신 기준 성능을 달성한다. 기준 모델 및 MoE 모델을 능가하며, 수작업 기준 없이 전문화된 군중 수세기 전문가를 자동으로 학습한다.

ABSTRACT

Automated counting of people in crowd images is a challenging task. The major difficulty stems from the large diversity in the way people appear in crowds. In fact, features available for crowd discrimination largely depend on the crowd density to the extent that people are only seen as blobs in a highly dense scene. We tackle this problem with a growing CNN which can progressively increase its capacity to account for the wide variability seen in crowd scenes. Our model starts from a base CNN density regressor, which is trained in equivalence on all types of crowd images. In order to adapt with the huge diversity, we create two child regressors which are exact copies of the base CNN. A differential training procedure divides the dataset into two clusters and fine-tunes the child networks on their respective specialties. Consequently, without any hand-crafted criteria for forming specialties, the child regressors become experts on certain types of crowds. The child networks are again split recursively, creating two experts at every division. This hierarchical training leads to a CNN tree, where the child regressors are more fine experts than any of their parents. The leaf nodes are taken as the final experts and a classifier network is then trained to predict the correct specialty for a given test image patch. The proposed model achieves higher count accuracy on major crowd datasets. Further, we analyse the characteristics of specialties mined automatically by our method.

연구 동기 및 목표

• 다양한 밀도 및 조건에서 군중의 외관에 큰 변동성이 존재하는 문제를 해결하기 위해.
• 수작업 기준에 의존하지 않고 원칙적이고 데이터 기반의 방법으로 전문화된 군중 수세기 모델을 개발하기 위해.
• 데이터셋의 복잡성에 따라 점진적인 모델 용량 확장을 가능하게 하여 군중 수세기의 회귀 정확도를 향상시키기 위해.
• 학습된 전문가 계층 내에서 자동으로 탐지된 특성의 특성을 분석하기 위해.

제안 방법

• 전체 데이터셋에 대해 일반 군중 특징을 학습하기 위해 기초 CNN 밀도 회귀기로 시작한다.
• 기초 CNN을 두 개의 자식 네트워크로 복제한 후, 데이터셋을 공동으로 군집하고 각 자식 네트워크를 특정 서브타입에 맞게 정밀 조정하기 위해 차등 학습을 적용한다.
• 각 자식 네트워크를 다시 두 개의 새로운 전문가로 점진적으로 분할하여, 각 수준에서 점점 더 전문화된 계층적 CNN 트리 구조를 형성한다.
• 시험 시간에 입력 이미지 패치를 가장 적합한 전문가 회귀기로 라우팅하기 위해 별도의 분류기 모델을 학습한다.
• 차등 학습 중에 공동 군집 및 정밀 조정 절차를 사용하여 전문가들이 서로 다른 특징을 학습하고 분류 가능하도록 보장한다.
• 잎 노드가 가장 전문화된 회귀기인 다수 수준의 전문가 아키텍처를 사용하며, 라우팅은 학습된 분류기에 의해 지도된다.

실험 결과

연구 질문

• RQ1 밀도 임계치와 같은 수작업 기준 없이 딥러닝 모델이 수작업 정의 기준에 의존하지 않고 전문화된 군중 수세기 전문가를 자동으로 학습할 수 있는가?
• RQ2 단일 모델 또는 평면적 믹스처의 전문가 접근 방식과 비교해 계층적이고 점진적인 CNN 성장 방식이 다양한 군중 환경에서 성능을 어떻게 향상시키는가?
• RQ3 자동으로 탐지된 전문가 특성은 어떤 잠재적 요소(예: 군중 밀도, 가림 패턴 등)와 관련이 있는가?
• RQ4 계층적 학습 절차는 표준 차등 학습 또는 MoE 모델보다 더 나은 특징 분류 능력과 낮은 회귀 오차를 제공하는가?

주요 결과

• IG-CNN는 Shanghaitech Part A 데이터셋에서 평균 절대 오차(MAE) 72.5를 기록하여 기준 CNN 및 믹스처의 전문가 모델을 모두 능가한다.
• 계층적 깊이가 증가할수록 오рак루스 손실이 감소한다(예: 레벨 3에서 8.5), 이는 전문화도 향상을 의미하지만, 실제로는 분류기 오차로 인해 테스트 MAE가 약간 증가한다.
• 방법론은 군중 밀도와 관련된 특성을 성공적으로 탐지하였으며, 전문가 하위군집의 패치 수 분포를 통해 이를 확인할 수 있다. 예를 들어, R111은 평균 수치 33.7로 고밀도 군중에 특화되어 있다.
• IG-CNN는 믹스처의 전문가 기준 모델(MAE 281.8 대비 72.5)과 8단계 차등 학습(MAE 75.1 대비 72.5)을 모두 뛰어넘어 뛰어난 전문화 능력을 입증한다.
• 계층적 학습 절차는 평면적 차등 학습 또는 MoE보다 더 분류 능력이 뛰어난 특징을 생성하며, 이는 낮은 최종 MAE와 군중 유형의 더 나은 군집화로 입증된다.
• 분석 결과 IG-CNN가 학습한 특성들은 임의적이지 않으며, 밀도와 같은 관찰 가능한 군중 특성과 관련이 있으며, 각 전문가는 서로 다른 수치 범위에 특화되어 있음을 확인할 수 있다.