[논문 리뷰] CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

Yiming Ma, Víctor Sánchez외 1명|arXiv (Cornell University)|2024. 03. 14.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 정수형 박스를 사용하여 계수를 개선된 블록 기반 분류로 재구성함으로써 밀도 지도를 생성하는, 처음으로 완전히 CLIP 기반인 컨테이너 수세기 모델인 CLIP-EBC를 제안한다. 연속적인 간격형 박스 대신 이산적인 정수형 박스를 사용하고 CLIP의 시각-텍스트 정렬 기능을 활용함으로써 CLIP-EBC는 최신 기술 성능을 달성하여 상하이 기술 대학 Part A와 Part B에서 평균 절대 오차를 각각 55.0과 6.3으로 줄였으며, 이는 이전 방법 대비 최대 76.9% 향상된 성능이다.

ABSTRACT

We propose CLIP-EBC, the first fully CLIP-based model for accurate crowd density estimation. While the CLIP model has demonstrated remarkable success in addressing recognition tasks such as zero-shot image classification, its potential for counting has been largely unexplored due to the inherent challenges in transforming a regression problem, such as counting, into a recognition task. In this work, we investigate and enhance CLIP's ability to count, focusing specifically on the task of estimating crowd sizes from images. Existing classification-based crowd-counting frameworks have significant limitations, including the quantization of count values into bordering real-valued bins and the sole focus on classification errors. These practices result in label ambiguity near the shared borders and inaccurate prediction of count values. Hence, directly applying CLIP within these frameworks may yield suboptimal performance. To address these challenges, we first propose the Enhanced Blockwise Classification (EBC) framework. Unlike previous methods, EBC utilizes integer-valued bins, effectively reducing ambiguity near bin boundaries. Additionally, it incorporates a regression loss based on density maps to improve the prediction of count values. Within our backbone-agnostic EBC framework, we then introduce CLIP-EBC to fully leverage CLIP's recognition capabilities for this task. Extensive experiments demonstrate the effectiveness of EBC and the competitive performance of CLIP-EBC. Specifically, our EBC framework can improve existing classification-based methods by up to 44.5% on the UCF-QNRF dataset, and CLIP-EBC achieves state-of-the-art performance on the NWPU-Crowd test set, with an MAE of 58.2 and an RMSE of 268.5, representing improvements of 8.6% and 13.3% over the previous best method, STEERER. The code and weights are available at https://github.com/Yiming-M/CLIP-EBC.

연구 동기 및 목표

• 기존의 연속적인 간격형 박스를 사용하는 분류 기반 인파 수세기 방법이 결정 경계 학습 능력이 열악하여 성능이 떨어지는 문제를 해결하기 위해.
• 인식 모델인 CLIP과 회귀 작업인 수세기 간의 격차를 블록 기반 분류로 재구성함으로써 메모리 간의 격차를 해소하기 위해.
• 연속적인 간격 대신 정수형 박스를 사용하여 오차 근처의 경계에서의 잘못된 분류를 줄이고 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 텍스트 인코더를 미세조정 없이도 CLIP의 사전 훈련된 시각 및 텍스트 인코더를 활용하여 CLIP 기반의 밀도 지도 생성을 가능하게 하기 위해.
• EBC 프레임워크가 CLIP 기반 모델 뿐 아니라 기존의 회귀 기반 모델에도 통합될 경우 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 연속적인 간격형 박스 대신 이산적인 정수형 박스를 사용하는 Enhanced Blockwise Classification (EBC) 프레임워크를 제안한다.
• 전체 평균 풀링 레이어를 제거하고 선형 투영을 1×1 컨볼루션으로 교체함으로써 CLIP 이미지 인코더를 수정하여 블록 기반 예측을 위한 공간 해상도를 유지한다.
• 고정된 CLIP 텍스트 인코더를 사용하여 각 정수형 박스(예: '1명', '2명', ...)에 대한 텍스트 임베딩을 생성하고, 이는 이미지 특징와 코사인 유사도를 통해 비교된다.
• 지역 이미지 특징와 각 박스의 텍스트 임베딩 간의 코사인 유사도에 대해 소프트맥스를 적용하여 확률 지ap을 생성한다.
• 각 박스의 카운트 값에 해당하는 확률 점수를 가중치로 하여 공간 위치 간 평균을 내어 예측된 밀도 지도를 구성한다.
• 분류 손실과 카운트 회귀 손실을 조합한 하이브리드 손실 함수 DACE를 사용하여 모델을 최적화하며, 두 항을 균형 잡기 위해 학습 가능한 가중치 λ를 사용한다.

실험 결과

연구 질문

• RQ1 CLIP가 인식 작업을 위해 사전 훈련되었음에도 불구하고, 정확한 인파 수세기 작업에 효과적으로 적용될 수 있는가?
• RQ2 연속적인 간격형 박스 대신 정수형 박스를 사용할 경우, 블록 기반 인파 수세기에서 분류 성능과 결정 경계 학습 능력이 향상되는가?
• RQ3 EBC 프레임워크가 기존의 회귀 기반 인파 수세기 모델에 플러그인 모듈로 적용되었을 때 성능 향상이 크게 이루어지는가?
• RQ4 완전히 CLIP 기반 모델인 CLIP-EBC가 고성능의 밀도 지도를 생성하고 벤치마크 데이터셋에서 최신 기술 성능을 달성하는가?
• RQ5 분류 및 회귀 구성 요소 간 손실 가중치(λ)의 선택이 최종 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CLIP-EBC는 상하이 기술 대학 Part A에서 평균 절대 오차(MAE) 55.0, Part B에서 6.3을 기록하여 새로운 최신 기술 성능을 달성하였다.
• EBC 프레임워크는 다양한 백본(VGG16, ResNet101, MobileNetV2, DenseNet201)에서 최대 76.9% 향상된 성능 향상을 기록하며 일관된 개선 효과를 보였다.
• 연속적인 간격형 박스를 정수형 박스로 대체함으로써 MAE는 140.6(기본 기반 블록 기반)에서 88.3으로 감소하여 37.1% 향상되었으며, 이는 이산형 박스의 효과를 입증한다.
• 최적의 손실 가중치 λ = 1.0이 가장 우수한 성능(MAE = 77.9)을 달성하였으며, λ = 2.0과 같은 높은 값은 일반화 능력을 저하시켰다.
• EBC 프레임워크는 모델에 종속적이지 않으며, 다양한 백본에서 성능 향상을 이끌어내어 CLIP 외부에서도 널리 적용 가능함을 시사한다.
• 시각화 결과는 CLIP-EBC가 흩어진 인파에서부터 매우 혼잡한 장면에 이르기까지 다양한 인파 밀도에서 잘 일반화되어 정확하고 부드러운 밀도 지도를 생성함을 보여주었다.