[論文レビュー] CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

Yiming Ma, Víctor Sánchez+1 more|arXiv (Cornell University)|Mar 14, 2024

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、整数値のビンを用いた強化ブロックワイズ分類を用いてカウントを再定式化することで、密度マップを生成する、最初の完全にCLIPに基づく集団数え上げモデルであるCLIP-EBCを提案する。連続的な区間ビンの代わりに離散的な整数ビンを採用し、CLIPのビジョン・テキストアライメントを活用することで、CLIP-EBCは最先端の性能を達成し、ShanghaiTech Part AおよびPart Bでそれぞれ55.0および6.3の平均絶対誤差を達成する。これは従来手法比で最大76.9%の改善を示している。

ABSTRACT

We propose CLIP-EBC, the first fully CLIP-based model for accurate crowd density estimation. While the CLIP model has demonstrated remarkable success in addressing recognition tasks such as zero-shot image classification, its potential for counting has been largely unexplored due to the inherent challenges in transforming a regression problem, such as counting, into a recognition task. In this work, we investigate and enhance CLIP's ability to count, focusing specifically on the task of estimating crowd sizes from images. Existing classification-based crowd-counting frameworks have significant limitations, including the quantization of count values into bordering real-valued bins and the sole focus on classification errors. These practices result in label ambiguity near the shared borders and inaccurate prediction of count values. Hence, directly applying CLIP within these frameworks may yield suboptimal performance. To address these challenges, we first propose the Enhanced Blockwise Classification (EBC) framework. Unlike previous methods, EBC utilizes integer-valued bins, effectively reducing ambiguity near bin boundaries. Additionally, it incorporates a regression loss based on density maps to improve the prediction of count values. Within our backbone-agnostic EBC framework, we then introduce CLIP-EBC to fully leverage CLIP's recognition capabilities for this task. Extensive experiments demonstrate the effectiveness of EBC and the competitive performance of CLIP-EBC. Specifically, our EBC framework can improve existing classification-based methods by up to 44.5% on the UCF-QNRF dataset, and CLIP-EBC achieves state-of-the-art performance on the NWPU-Crowd test set, with an MAE of 58.2 and an RMSE of 268.5, representing improvements of 8.6% and 13.3% over the previous best method, STEERER. The code and weights are available at https://github.com/Yiming-M/CLIP-EBC.

研究の動機と目的

• 連続的な区間ビンを用いた既存の分類ベースの集団数え上げ手法が、決定境界の学習が不十分であるという問題を解決すること。
• 認識タスクを目的として事前学習されたCLIP（認識モデル）と、回帰タスクである数え上げの間のギャップを、数え上げをブロックワイズ分類に再定式化することで埋めること。
• 連続的な区間ではなく整数値のビンを用いることで、ビンの境界付近での誤分類を低減し、モデルのロバストネスと一般化性能を向上させること。
• 微調整を行わず、CLIPの事前学習済みビジョンおよびテキストエンコーダーを活用して、CLIPベースの密度マップ生成を可能にすること。
• EBCフレームワークがCLIPベースのモデルに限らず、既存の回帰ベースのモデルに対しても統合することで性能を著しく向上させることを示すこと。

提案手法

• 連続的な区間ビンの代わりに離散的な整数値ビンを用いる強化ブロックワイズ分類（EBC）フレームワークを提案する。
• グローバル平均プーリング層を削除し、線形投影を1×1畳み込みに置き換えることで、CLIPの画像エンコーダーを変更し、ブロックワイズ予測に適した空間分解能を保持する。
• 各整数ビン（例：'1人'、'2人'など）に対応するテキスト埋め込みを、凍結されたCLIPテキストエンコーダーで生成し、画像特徴とコサイン類似度で比較する。
• 各ビンのローカル画像特徴とテキスト埋め込み間のコサイン類似度に対してソフトマックスを適用し、確率マップを生成する。
• 各ビンのカウント値をその対応する確率スコアで重み付けし、空間位置にわたって平均化することで予測密度マップを構築する。
• 分類損失とカウント回帰損失を組み合わせたハイブリッド損失関数DACEを最適化に用い、両項をバランスさせる学習可能重みλを導入する。

実験結果

リサーチクエスチョン

• RQ1 認識タスクのために事前学習されたCLIPが、数え上げタスクに効果的に適応可能であるか？
• RQ2 連続的な区間ビンの代わりに整数値ビンを用いることで、ブロックワイズ集団数え上げにおける分類性能と決定境界学習が向上するか？
• RQ3 EBCフレームワークが、既存の回帰ベースの集団数え上げモデルにプラグインモジュールとして適用された場合、性能を著しく向上させるか？
• RQ4 完全にCLIPに基づくモデルとしてのCLIP-EBCが、高品質な密度マップを生成し、ベンチマークデータセットで最先端の性能を達成できるか？
• RQ5 分類と回帰の各成分間の損失重み（λ）の選択が、最終的なモデル性能にどのように影響するか？

主な発見

• CLIP-EBCはShanghaiTech Part Aで平均絶対誤差（MAE）55.0、Part Bで6.3を達成し、新たな最先端性能を樹立した。
• EBCフレームワークは、VGG16、ResNet101、MobileNetV2、DenseNet201といった異なるバックボーンに対して、最大76.9%の性能向上を実現し、一貫した改善を示した。
• 連続的な区間ビンから整数値ビンに置き換えることで、MAEはベースラインのブロックワイズ手法から140.6から88.3に低下し、37.1%の改善が確認され、離散的ビニングの有効性が裏付けられた。
• 最適な損失重みλ = 1.0が最良の性能（MAE = 77.9）を達成したが、λ = 2.0のような高い値では一般化能力が低下した。
• EBCフレームワークはモデルに依存せず、複数のバックボーンで性能を向上させることで、CLIPに限らず広範な適用可能性を示している。
• 可視化結果から、CLIP-EBCは、スカスカの状態から極度に混雑した状況まで、多様な集団密度にわたって良好に一般化され、正確で滑らかな密度マップを生成することがわかった。