[논문 리뷰] Towards Using Count-level Weak Supervision for Crowd Counting

Yinjie Lei, Yan Liu외 2명|arXiv (Cornell University)|2020. 02. 29.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 7

한 줄 요약

이 논문은 다수의 보조 분지(branch)를 도입하여 밀도 지도 예측을 정규화함으로써 카운트 수준의 애너테이션을 활용하는 약한 지도 학습 기반의 군중 수세기 방법인 다중 보조 과제 학습(MATT)을 제안한다. 분지 간 일관성과 총 수와의 일치를 강제함으로써 MATT는 단순한 카운트 회귀 기반 모델에 비해 성능을 크게 향상시키며, 최소한의 위치 수준 애너테이션으로도 기존 데이터셋과 새로 도입된 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most existing crowd counting methods require object location-level annotation, i.e., placing a dot at the center of an object. While being simpler than the bounding-box or pixel-level annotation, obtaining this annotation is still labor-intensive and time-consuming especially for images with highly crowded scenes. On the other hand, weaker annotations that only know the total count of objects can be almost effortless in many practical scenarios. Thus, it is desirable to develop a learning method that can effectively train models from count-level annotations. To this end, this paper studies the problem of weakly-supervised crowd counting which learns a model from only a small amount of location-level annotations (fully-supervised) but a large amount of count-level annotations (weakly-supervised). To perform effective training in this scenario, we observe that the direct solution of regressing the integral of density map to the object count is not sufficient and it is beneficial to introduce stronger regularizations on the predicted density map of weakly-annotated images. We devise a simple-yet-effective training strategy, namely Multiple Auxiliary Tasks Training (MATT), to construct regularizes for restricting the freedom of the generated density maps. Through extensive experiments on existing datasets and a newly proposed dataset, we validate the effectiveness of the proposed weakly-supervised method and demonstrate its superior performance over existing solutions.

연구 동기 및 목표

• 위치 수준의 지도 학습에 필요한 높은 애너테이션 비용 문제를 해결하기 위해 쉽게 확보할 수 있는 카운트 수준의 애너테이션을 활용하고자 한다.
• 카운트 수준의 약한 지도 학습이 모델의 일반화 능력과 성능 향상에 효과적으로 기여할 수 있는지 조사하고자 한다.
• 카운트 수준 애너테이션 이미지에서 예측된 밀도 지도를 효과적으로 정규화할 수 있는 학습 전략을 설계하고자 한다.
• 보조 과제와 비대칭 학습이 모델의 강건성과 정확도 향상에 기여하는지 검증하고자 한다.
• 점진적인 이미지 추가/제거 방식으로 수집된 새로운 데이터셋을 공개하여 카운트 수준의 약한 지도 학습 평가를 가능하게 하고자 한다.

제안 방법

• 동일한 특징 맵에서 다양한 그러나 일관된 밀도 지도를 생성하기 위해 다수의 보조 예측 분지를 도입하는 다중 보조 과제 학습(MATT)을 제안한다.
• 각 보조 분지에 대해 두 가지 손실 항목을 적용한다: (1) 예측된 밀도 지도의 통합값이 진짜 카운트와 일치해야 하며, (2) 서로 다른 분지에서 예측된 밀도 지도 간 일관성이 유지되어야 한다.
• 비대칭 학습 전략을 적용하여, 진짜 애너테이션 정보를 학습하는 것은 주 분지만이 담당하고, 보조 분지는 주 분지의 예측 결과와 카운트 레이블로부터 학습함으로써 노이즈가 많은 기울기 흐름을 방지한다.
• 약한 지도 학습 설정에서 적용한다: 소수의 이미지에만 위치 수준의 애너테이션(점 지도)이 존재하고, 대부분의 이미지는 카운트 수준의 애너테이션만을 갖는다.
• 모든 분지에 공통된 특징 추출기(Feature Extractor)를 사용하며, 각 분지는 동일한 입력 이미지에 대해 별도의 밀도 지도를 생성한다.
• 주 분지에서는 표준 군중 수세기 손실(예: L1 또는 L2)을 적용하고, 보조 지도 학습을 통해 추가 애너테이션 없이도 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 쉽게 확보할 수 있는 카운트 수준의 애너테이션을 약한 지도 학습에 활용할 경우, 군중 수세기 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 단순한 카운트 회귀 손실이 밀도 지도 예측을 충분히 제약하지 못해 성능이 최적화되지 않는가?
• RQ3 다양한 밀도 지도 예측 간 일관성을 유도하는 보조 과제가 약한 지도 학습 데이터에서 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ4 보조 과제가 주 분지를 업데이트하지 않는 비대칭 학습 전략이 기울기 노이즈를 방지하고 성능 향상에 필수적인가?
• RQ5 제안된 방법이 대규모 카운트 수준 애너테이션 데이터를 얼마나 효과적으로 활용하여 완전 지도 학습 기반의 기준 모델을 초월할 수 있는가?

주요 결과

• 제안된 MATT 방법은 상하이 기술 대학 Part_A 데이터셋에서 평균 절대 오차(MAE) 80.1을 기록하며, 단순한 카운트 회귀 기반 기준 모델(MAE 90.8)에 비해 유의미하게 뛰어난 성능을 보였다.
• 4~6개의 보조 분지를 사용할 경우 최고의 성능를 기록했으며, 분지 수가 적은 경우(예: 2개) 기준 모델보다 성능이 열 劣함을 보여, 다양한 감독 신호의 중요성을 입증했다.
• 비대칭 학습 전략을 제거할 경우 성능은 MAE 89.0, MSE 140.6으로 악화되었으며, 이는 보조 분지에서 주 분지로의 기울기 흐름을 차단하는 것이 필수적임을 확인했다.
• 완전 애너테이션 데이터에서 MATT는 단일 과제 학습(MAE 106.5)과 비교해 MAE 104.6으로 약간의 성능 향상을 보였으며, 이는 본 방법의 강점이 다중 과제 학습 자체에 있는 것이 아니라 약한 지도 학습을 효과적으로 활용하는 데 있음을 시사한다.
• 새로 도입된 데이터셋은 점진적인 이미지 편집 방식으로 수집된 카운트 수준 애너테이션이 효과적으로 학습에 활용되고, 약한 지도 학습 방법의 신뢰성 있는 평가를 가능하게 함을 보여주었다.
• 카운트 수준 손실과 분지 간 일관성 손실을 함께 적용할 경우 최고의 성능를 기록했으며, 이는 다중 분지 정규화 전략의 효과성을 확인했다.