[論文レビュー] Bayesian Loss for Crowd Count Estimation with Point Supervision

Zhiheng Ma, Xing Wei+2 more|arXiv (Cornell University)|Aug 10, 2019

Video Surveillance and Tracking Methods参考文献 59被引用数 66

ひとこと要約

本論文は点注釈を用いた群衆カウントのベイズ損失を導入し、ピクセル単位の密度ではなくカウント期待値を監視することで、外部検 detectorなしで主要ベンチマークにおいて最先端の結果を達成する。

ABSTRACT

In crowd counting datasets, each person is annotated by a point, which is usually the center of the head. And the task is to estimate the total count in a crowd scene. Most of the state-of-the-art methods are based on density map estimation, which convert the sparse point annotations into a "ground truth" density map through a Gaussian kernel, and then use it as the learning target to train a density map estimator. However, such a "ground-truth" density map is imperfect due to occlusions, perspective effects, variations in object shapes, etc. On the contrary, we propose \emph{Bayesian loss}, a novel loss function which constructs a density contribution probability model from the point annotations. Instead of constraining the value at every pixel in the density map, the proposed training loss adopts a more reliable supervision on the count expectation at each annotated point. Without bells and whistles, the loss function makes substantial improvements over the baseline loss on all tested datasets. Moreover, our proposed loss function equipped with a standard backbone network, without using any external detectors or multi-scale architectures, plays favourably against the state of the arts. Our method outperforms previous best approaches by a large margin on the latest and largest UCF-QNRF dataset. The source code is available at \url{https://github.com/ZhihengCV/Baysian-Crowd-Counting}.

研究の動機と目的

• 点注釈付きで群衆カウントを動機づけることと、真の密度マップの限界点
• 注釈点でカウント期待値を監視するベイズ損失の提案
• ベンチマーク全体での頑健性・一般化・最先端性能の示すこと

提案手法

• 点注釈から密度寄与確率モデル p(xm|yn) を構築する。
• 等 priors のベイズの定理を用いて事後分布 p(yn|xm) を計算する。
• 注釈点でのカウント期待値を監視することで定義されるベイズ損失 LBayes（Dest(xm) の p(yn|xm) の和）を定義する。
• 背景ピクセルをモデル化するダミー背景点を用いて y0 のバックグラウンドラベルへ拡張する（LBayes+）。
• 分析のための局在化と境界のラベル後方エントロピーを可視化する。

実験結果

リサーチクエスチョン

• RQ1 カウント中心のベイズ監視に基づく損失が、標準の群衆カウントベンチマークにおけるピクセル単位の密度監視を凌駕するか？
• RQ2 バックグラウンドモデル（ダミーポイントを用いたBayesian+）を組み込むことで、背景ピクセルと注釈ノイズに対する頑健性は向上するか？
• RQ3 提案された損失は、異なるバックボーンやデータセットでどうなるか？
• RQ4 ガウスカーネルのパラメータとマージン d の性能・頑健性への影響は？

主な発見

Dataset	BASELINE MAE	BASELINE MSE	BAYESIAN MAE	BAYESIAN MSE	BAYESIAN+ MAE	BAYESIAN+ MSE
UCF-QNRF	106.8	183.7	92.9	163.0	88.7	154.8
ShanghaiTechA	68.6	110.1	64.5	104.0	62.8	101.8
ShanghaiTechB	8.5	13.9	7.9	13.3	7.7	12.7
UCF CC 50	251.6	331.3	237.7	320.8	229.3	308.2

• BAYESIAN+ は外部検 detectorやマルチスケールアーキテクチャを用いずに、4つのベンチマークデータセットで最先端の精度を達成。
• BAYESIAN+ はすべての4つのデータセットでおおよそ3%の一貫した改善をもたらす。
• BAYESIAN および BAYESIAN+ の両方が、すべてのデータセットで BASELINE を大幅に上回る。
• UCF-QNRF では、BAYESIAN+ が従来の最高法 CL-CNN をかなり上回る性能を示す（報告されたとおり）。
• この手法は、特に密集領域での密度局在化の精度向上と、y0 モデル化による背景処理の改善を実現する。