[논문 리뷰] Improving the Learning of Multi-column Convolutional Neural Network for Crowd Counting

Zhi-Qi Cheng, Jun-Xiu Li외 4명|arXiv (Cornell University)|2019. 09. 17.

Video Surveillance and Tracking Methods참고 문헌 65인용 수 4

한 줄 요약

이 논문은 인파 계수를 위한 다중 컬럼 합성곱 신경망에서 파rameter의 중복을 줄이고 스케일 불변성을 향상시키는 새로운 훈련 전략인 다중 컬럼 상호학습(McML)을 제안한다. 컬럼 간 상호정보를 최소화하고 비동기적 상호학습을 사용함으로써, 각 컬럼이 서로 다른 스케일 특징을 학습하도록 보장하여 네 가지 벤치마크에서 상대적 MAE 향상 최대 25.0%를 달성하며 정확도가 크게 향상된다.

ABSTRACT

Tremendous variation in the scale of people/head size is a critical problem for crowd counting. To improve the scale invariance of feature representation, recent works extensively employ Convolutional Neural Networks with multi-column structures to handle different scales and resolutions. However, due to the substantial redundant parameters in columns, existing multi-column networks invariably exhibit almost the same scale features in different columns, which severely affects counting accuracy and leads to overfitting. In this paper, we attack this problem by proposing a novel Multi-column Mutual Learning (McML) strategy. It has two main innovations: 1) A statistical network is incorporated into the multi-column framework to estimate the mutual information between columns, which can approximately indicate the scale correlation between features from different columns. By minimizing the mutual information, each column is guided to learn features with different image scales. 2) We devise a mutual learning scheme that can alternately optimize each column while keeping the other columns fixed on each mini-batch training data. With such asynchronous parameter update process, each column is inclined to learn different feature representation from others, which can efficiently reduce the parameter redundancy and improve generalization ability. More remarkably, McML can be applied to all existing multi-column networks and is end-to-end trainable. Extensive experiments on four challenging benchmarks show that McML can significantly improve the original multi-column networks and outperform the other state-of-the-art approaches.

연구 동기 및 목표

• perspective 효과로 인해 사람의 크기가 극적으로 변하는 인파 계수에서 스케일 변동성 문제를 해결한다.
• 기존의 다중 컬럼 네트워크가 컬럼 간 유사한 스케일 특징을 학습하며 파rameter의 중복이 발생함을 규명한다.
• 각 컬럼이 서로 다른 보완적인 스케일 표현을 학습하도록 유도하여 과적합과 일반화 부족 문제를 해결한다.
• 기존의 다중 컬럼 인파 계수 네트워크에 적용 가능한 플러그 앤 플레이, 엔드 투 엔드 학습 가능한 전략을 개발한다.
• 아키텍처 변경이나 추가 감독 없이도 특징 다양성을 향상시키고 일반화 능력을 향상시킨다.

제안 방법

• 서로 다른 컬럼의 특징 맵 간 상호정보를 추정하기 위한 통계적 네트워크를 도입하여 스케일 상관관계의 대체 지표로 활용한다.
• 훈련 중 컬럼 간 상호정보를 최소화하여 서로 다른 스케일 특징을 학습하도록 유도한다.
• 각 컬럼이 번갈아가며 최적화되고 다른 컬럼은 고정되는 비동기적 상호학습 기반 설계를 통해 특징 다양성을 증진시킨다.
• McML 전략을 기존의 다중 컬럼 네트워크(MCNN, CSRNet, ic-CNN 등)에 플러그 앤 플레이 방식으로 적용하여 엔드 투 엔드 학습을 가능하게 한다.
• 특징 중복성과 유사성을 정량적으로 분석하기 위해 최대 정보 계수(MIC)와 구조적 유사도(SSIM)를 사용한다.
• 밀도 맵 시각화와 정량적 지표(MAE, MSE)를 활용하여 McML의 효과를 다양한 인파 상황에서 평가한다.

실험 결과

연구 질문

• RQ1 다양한 수신장이 있음에도 불구하고 기존의 다중 컬럼 네트워크가 다양한 스케일 특징을 학습하지 못하는 이유는 무엇인가?
• RQ2 상호정보 최소화가 컬럼 간 중복을 효과적으로 줄이고 특징 다양성을 향상시키는 데 기여하는가?
• RQ3 비동기적 상호학습이 다중 컬럼 인파 계수 네트워크의 일반화 능력을 향상시키고 과적합을 감소시키는가?
• RQ4 McML은 아키텍처 수정 없이 다양한 다중 컬럼 아키텍처에 일반적으로 적용 가능한가?
• RQ5 다양한 인파 밀도와 스케일 분포를 가진 데이터셋에서 McML의 성능은 어떠한가?

주요 결과

• McML은 컬럼 간 상호정보(MIC)와 구조적 유사도(SSIM)를 크게 감소시켜 중복 감소와 특징 다양성 향상을 확인한다.
• ShanghaiTech Part A에서 McML은 MCNN에 대해 MAE를 25.0% 향상시키고, CSRNet에는 23.6%, ic-CNN에는 5.6% 향상시켜 고밀도 인파 상황에서 뛰어난 성능을 보였다.
• UCF_CC_50에서 McML은 MCNN에 대해 상대적 MAE를 17.6% 향상시키고, CSRNet에는 7.5% 향상시켜 소규모 및 희소 데이터셋에서도 효과적임을 입증했다.
• UCSD에서 McML은 MAE와 MSE를 모두 감소시켜 희소 인파 상황에서 정확도와 강건성을 향상시켰다.
• WorldExpo’10에서 McML은 시 perspectivemaps를 사용하는 최신 기술(SOTA) 메서드조차도 능가했으며, 이러한 감독 없이도 성능을 확보함으로써 일반화 능력을 입증했다.
• 시각화 결과, McML이 생성한 밀도 맵은 컬럼 간 더 뚜렷한 주목할 만한 영역을 보여주어 보다 우수한 스케일 특징 학습 능력을 확인했다.