[논문 리뷰] Improving Object Counting with Heatmap Regulation

Shubhra Aich, Ian Stavness|arXiv (Cornell University)|2018. 03. 14.

Machine Learning and Data Classification참고 문헌 27인용 수 28

한 줄 요약

이 논문은 객체 수세기의 one-look 회귀 모델 성능을 향상시키기 위해, 단순한 점(annotation)으로부터 생성된 군중 지도(ground-truth activation maps)를 사용해 학습 중 클래스 활성화 지도(class activation maps)를 유도하고 개선하는 히트맵 규제(heatmap regulation, HR)를 제안한다. 예측된 활성화 지도와 지도된 활성화 지도 간 오차를 역전파함으로써, HR은 임의의 오진 탐지(false positives)를 억제하고 부정확한 탐지(false negatives)를 줄이며, 계산 비용을 최소화하면서도 자동차, 군중, 세포 수세기 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we propose a simple and effective way to improve one-look regression models for object counting from images. We use class activation map visualizations to illustrate the drawbacks of learning a pure one-look regression model for a counting task. Based on these insights, we enhance one-look regression counting models by regulating activation maps from the final convolution layer of the network with coarse ground-truth activation maps generated from simple dot annotations. We call this strategy heatmap regulation (HR). We show that this simple enhancement effectively suppresses false detections generated by the corresponding one-look baseline model and also improves the performance in terms of false negatives. Evaluations are performed on four different counting datasets --- two for car counting (CARPK, PUCPR+), one for crowd counting (WorldExpo) and another for biological cell counting (VGG-Cells). Adding HR to a simple VGG front-end improves performance on all these benchmarks compared to a simple one-look baseline model and results in state-of-the-art performance for car counting.

연구 동기 및 목표

• 일반화 오차를 해소하기 위해 one-look 회귀 모델에서 어려운 탐지 대상(예: 어두운, 저대비 객체)을 놓치거나 배경 영역에서 잘못 활성화되는 문제를 해결한다.
• 전체 인스턴스 수준 annotation이 필요 없이도 오진 탐지 및 부정확 탐지에 대한 모델의 강건성을 향상시키기 위해.
• 경량 점 annotation만을 사용하여 성능을 향상시키기 위해.
• 기존 one-look 수세기 아키텍처에 새로운 학습 신호인 예측된 활성화 지도와 지도된 활성화 지도 간 차이 오차를 통합하기 위해.
• 최소한의 아키텍처 변경과 계산 비용으로도 여러 수세기 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 지정된 커널 크기와 표준편차를 사용해 객체 위치의 단순한 점 annotation으로부터 군중 지도(Gaussian activation maps, GAMs)를 생성한다.
• 최종 합성곱층의 클래스 활성화 지도(CAMs)를 시각화 및 학습을 위한 객체 중요도 예측으로 사용한다.
• 예측된 CAM과 지도된 GAM 간의 L2 차이를 계산하는 새로운 손실 항목을 도입하며, 이는 표준 수세기 손실과 함께 역전파된다.
• 수세기 손실과 히트맵 규제 손실을 결합하여 정확한 수세기 예측과 공간적으로 농축된 의미 있는 활성화 지도를 동시에 최적화한다.
• 단순한 VGG-GAP 백본에 적용하여 아키텍처의 복잡성 없이도 효과를 입증한다.
• 다양한 데이터셋(CARPK, PUCPR+, WorldExpo, VGG-Cells)에 동일한 GAM 생성 및 손실 전략을 적용하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 점 annotation에서 유도된 단순하고 경량의 감독 신호가 one-look 회귀 모델의 객체 수세기 성능을 향상시킬 수 있는가?
• RQ2 지문된 GAMs를 사용해 클래스 활성화 지도를 규제하면 오진 탐지 및 부정확 탐지가 감소하는가?
• RQ3 히트맵 규제가 최소한의 계산 비용으로도 여러 수세기 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 활성화 지도 정규화의 통합은 CAM의 공간적 농축성과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 객체 유형과 이질적인 밀도 및 시각적 특성을 지닌 다양한 데이터셋에 일반화 가능한가?

주요 결과

• 히트맵 규제(HR)는 CARPK, PUCPR+, WorldExpo, VGG-Cells 등 네 가지 다양한 수세기 데이터셋에서 one-look 회귀 모델의 성능을 크게 향상시켰다.
• CARPK 데이터셋에서 HR은 MAE를 기준선의 4.77에서 N=32일 때 2.95로 감소시켜 최신 기술 성능을 달성했다.
• PUCPR+ 데이터셋에서 HR은 MAE를 4.53에서 2.67로 감소시켜 기준선 대비 일관된 향상을 보였다.
• VGG-Cells 데이터셋에서 HR은 N=32일 때 MAE를 4.77에서 2.95로, N=50일 때 4.53에서 2.67로 감소시켜 Count-ception을 포함한 이전 방법들을 초월했다.
• CAM 시각화 결과, HR은 더 농축되고 국소화된 활성화를 생성하여 그림자나 배경 영역에서의 오진 탐지 감소와 어두운 또는 저대비 객체의 탐지 향상을 보였다.
• 이러한 성과는 단일 순방향 전파와 경량 추가 손실 항목만을 사용해 최소한의 계산 오버헤드로 달성되었다.