[論文レビュー] Distribution Matching for Crowd Counting

Boyu Wang, Huidong Liu+2 more|arXiv (Cornell University)|Sep 28, 2020

Video Surveillance and Tracking Methods参考文献 60被引用数 169

ひとこと要約

DM-Count は正規化された予測密度マップと正規化された地上真実密度マップを Optimal Transport でマッチさせ、ガウシアン平滑化を回避し、複数の crowd counting データセットで最先端の結果を達成します。

ABSTRACT

In crowd counting, each training image contains multiple people, where each person is annotated by a dot. Existing crowd counting methods need to use a Gaussian to smooth each annotated dot or to estimate the likelihood of every pixel given the annotated point. In this paper, we show that imposing Gaussians to annotations hurts generalization performance. Instead, we propose to use Distribution Matching for crowd COUNTing (DM-Count). In DM-Count, we use Optimal Transport (OT) to measure the similarity between the normalized predicted density map and the normalized ground truth density map. To stabilize OT computation, we include a Total Variation loss in our model. We show that the generalization error bound of DM-Count is tighter than that of the Gaussian smoothed methods. In terms of Mean Absolute Error, DM-Count outperforms the previous state-of-the-art methods by a large margin on two large-scale counting datasets, UCF-QNRF and NWPU, and achieves the state-of-the-art results on the ShanghaiTech and UCF-CC50 datasets. DM-Count reduced the error of the state-of-the-art published result by approximately 16%. Code is available at https://github.com/cvlab-stonybrook/DM-Count.

研究の動機と目的

• Gaussian smoothing of annotations が crowd counting の generalization を悪化させることを示して研究を動機付ける。
• Gaussian smoothing を用いずに予測密度マップと地上真実密度マップを比較する Optimal Transport を用いた分布マッチングフレームワーク（DM-Count）を提案する。
• Total Variation loss で OT 計算を安定化し、提案損失の一般化境界を提供する。
• 4 つの大規模な crowd counting ベンチマークで従来手法より empirically 改善を示す。

提案手法

• カウント問題を地上真実のドット注釈と予測密度マップの分布マッチングとして定義する。
• 正規化された地上真実密度マップと予測密度マップの間の輸送ベースの損失を Optimal Transport を用いて計算する。
• 総質量の絶対差に基づくカウント損失を導入して数を揃える。
• Sinkhorn ベースの OT 最適化を安定化し低密度領域を改善するために Total Variation loss を組み込む。
• カウント損失、OT 損失、TV 損失を tunable な重みで結合し単一の訓練目的関数とする。

実験結果

リサーチクエスチョン

• RQ1 Optimal Transport を介した分布マッチングは Gaussian 地上真実平滑化なしで crowd counting を改善できるか。
• RQ2 OT ベースの損失は Gaussian 平滑化および Bayesian 損失と比較して一般化と局在化品質の観点でどうなるか。
• RQ3 安定性の向上（Total Variation）により OT の Sinkhorn 近似を用いた訓練は改善されるか。
• RQ4 DM-Count は従来の最先端手法と比べて大規模データセットでどの程度の経験的利得を示すか。

主な発見

• DM-Count は four datasets (UCF-QNRF, NWPU, ShanghaiTech, UCF-CC50) において MAE、RMSE、NAE の点で従来の最先端手法を上回る。
• NWPU では DM-Count が公表 MAE および NAE を大幅に短縮（例：MAE が 105.4 から 88.4、NAE が 0.203 から 0.169）。
• DM-Count は密度マップの品質も改善し、重要なベンチマークでピクセル単位損失や Bayesian 損失より高い PSNR および SSIM を達成。
• 理論分析はガウシアン平滑化された地上真実注釈は DM-Count アプローチより緩い一般化境界を生むことを示す。
• アブレーション研究は OT 損失が最も影響力のある要素であることを示し、TV が訓練中の安定性を提供。
• DM-Count は Gaussian smoothing や Bayesian 損失と比較して注釈ノイズに対する頑健性を示す。