[論文レビュー] Improving Object Counting with Heatmap Regulation

Shubhra Aich, Ian Stavness|arXiv (Cornell University)|Mar 14, 2018

Machine Learning and Data Classification参考文献 27被引用数 28

ひとこと要約

本論文では、1回の推論で物体数を推定するモデルの性能を向上させるために、単純なドットアノテーションから得られる粗い正例活性マップを用いて、訓練中にクラス活性マップを指導致するためのヒートマップ規制（HR）を提案する。予測された活性マップと正例活性マップの誤差をカウント損失とともに逆伝播させることで、誤検出（偽陽性）を抑制し、誤検出（偽陰性）を低減する。本手法は、計算コストをほとんど増加させることなく、自動車、群衆、細胞の数え上げベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we propose a simple and effective way to improve one-look regression models for object counting from images. We use class activation map visualizations to illustrate the drawbacks of learning a pure one-look regression model for a counting task. Based on these insights, we enhance one-look regression counting models by regulating activation maps from the final convolution layer of the network with coarse ground-truth activation maps generated from simple dot annotations. We call this strategy heatmap regulation (HR). We show that this simple enhancement effectively suppresses false detections generated by the corresponding one-look baseline model and also improves the performance in terms of false negatives. Evaluations are performed on four different counting datasets --- two for car counting (CARPK, PUCPR+), one for crowd counting (WorldExpo) and another for biological cell counting (VGG-Cells). Adding HR to a simple VGG front-end improves performance on all these benchmarks compared to a simple one-look baseline model and results in state-of-the-art performance for car counting.

研究の動機と目的

• 1回の推論回帰モデルにおける物体数え上げの一般化誤差、特に検出が難しいインスタンスを逃す、および背景領域が誤って活性化される問題を解決すること。
• 完全なインスタンスレベルのアノテーションを必要とせずに、偽陽性および偽陰性に対するモデルのロバスト性を向上させること。
• バウンディングボックスやセグメンテーションマスクよりもはるかに安価な軽量のドットアノテーションのみを用いて性能を向上させること。
• 予測された活性マップと正例活性マップの差分誤差という新しい訓練信号を、既存の1回の推論回帰アーキテクチャに統合すること。
• 最小限のアーキテクチャ的変更と計算コストで、複数の数え上げベンチマークで最先端の性能を達成すること。

提案手法

• 物体の位置を示す単純なドットアノテーションから、事前に定義されたカーネルサイズと標準偏差を用いて、粗い正例ガウス活性マップ（GAMs）を生成する。
• 最終畳み込み層からのクラス活性マップ（CAMs）を、可視化および訓練のための物体の顕著性の予測として用いる。
• 予測CAMと正例GAMのL2差分を計算する新しい損失項を導入し、標準的なカウント損失とともに逆伝播させる。
• カウント損失とヒートマップ規制損失を併用して、正確なカウント予測と空間的にコンactで意味のある活性マップの両方を同時に最適化する。
• VGG-GAPバックボーンを危に適用し、アーキテクチャの複雑さや重い後処理なしに有効性を示す。
• 自動車、群衆、細胞の多様なデータセットにわたって、同じGAM生成法と損失戦略を適用し、汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 ドットアノテーションから導出される単純で軽量な監視信号が、1回の推論回帰モデルの物体数え上げ性能を向上させることができるか？
• RQ2 正例GAMを用いてクラス活性マップを規制することで、物体数え上げモデルにおける偽陽性および偽陰性が低減するか？
• RQ3 ヒートマップ規制が、計算コストをほとんど増やさずに、複数の数え上げベンチマークで最先端の性能を達成できるか？
• RQ4 活性マップ正則化の統合が、CAMの空間的コンパクト性および解釈可能性にどのように影響するか？
• RQ5 提案手法が、インスタンス密度や視覚的特徴が異なるさまざまな物体タイプやデータセットに一般化可能か？

主な発見

• ヒートマップ規制（HR）は、4つの多様な数え上げデータセット（CARPK、PUCPR+、WorldExpo、VGG-Cells）における1回の推論回帰モデルの性能を顕著に向上させる。
• CARPKデータセットでは、HRによりMAEがベースラインの4.77からN=32の条件下で2.95に低下し、最先端の性能を達成した。
• PUCPR+データセットでは、HRによりMAEが4.53から2.67に低下し、ベースラインに対して一貫した改善を示した。
• VGG-Cellsデータセットでは、N=32の条件下でMAEが4.77から2.95に低下し、N=50では4.53から2.67に低下し、Count-ceptionを含む先行手法を上回った。
• CAMの可視化結果から、HRはよりコンパクトで局所化された活性化を生み出し、影や背景領域における誤検出を低減するとともに、暗いまたはコントラストが低い物体の検出を向上させた。
• 本手法は、単一のフォワードパスと軽量な追加損失項のみを用いて、これらの向上を達成し、計算コストの増加は最小限に抑えられた。