[論文レビュー] From Open Set to Closed Set: Counting Objects by Spatial Divide-and-Conquer

Haipeng Xiong, Hao Lü+4 more|arXiv (Cornell University)|Aug 15, 2019

Video Surveillance and Tracking Methods参考文献 22被引用数 32

ひとこと要約

S-DCNet は、特徴マップを空間的に分割して局所カウントを合計することで、開集合のカウント問題を閉集合問題に変換し、複数データセットで最先端の結果を達成します。

ABSTRACT

Visual counting, a task that predicts the number of objects from an image/video, is an open-set problem by nature, i.e., the number of population can vary in $[0,+\infty)$ in theory. However, the collected images and labeled count values are limited in reality, which means only a small closed set is observed. Existing methods typically model this task in a regression manner, while they are likely to suffer from an unseen scene with counts out of the scope of the closed set. In fact, counting is decomposable. A dense region can always be divided until sub-region counts are within the previously observed closed set. Inspired by this idea, we propose a simple but effective approach, Spatial Divide-and- Conquer Network (S-DCNet). S-DCNet only learns from a closed set but can generalize well to open-set scenarios via S-DC. S-DCNet is also efficient. To avoid repeatedly computing sub-region convolutional features, S-DC is executed on the feature map instead of on the input image. S-DCNet achieves the state-of-the-art performance on three crowd counting datasets (ShanghaiTech, UCF_CC_50 and UCF-QNRF), a vehicle counting dataset (TRANCOS) and a plant counting dataset (MTC). Compared to the previous best methods, S-DCNet brings a 20.2% relative improvement on the ShanghaiTech Part B, 20.9% on the UCF-QNRF, 22.5% on the TRANCOS and 15.1% on the MTC. Code has been made available at: https://github. com/xhp-hust-2018-2011/S-DCNet.

研究の動機と目的

• カウントを開集合の問題として動機づけ、閉集合を活用してデータ不足に対処する。
• カウントを局所のカウント区間予測に分解する空間的な分割統治戦略を提案する。
• 特徴マップ上で S-DC を実行する計算の冗長性を避ける CNN アーキテクチャを開発する。
• 多様なデータセットに対して、閉集合学習の頑健性と開集合カウントへの一般化を示す。

提案手法

• VGG16 ベースのエンコーダと UNet ライクデコーダを用いて多解像度の特徴マップを生成する。
• 局所カウントを区間に離散化し、これらの区間を用いた分類問題としてカウントを定式化する。
• ソフト分割マスクを出力する division decider を導入し、サブ領域のカウントを統合してグローバルな画像カウントを得る。
• シングルステージおよびマルチステージの S-DC を適用して特徴マップを反復的に分割し、局所カウントを精緻化する。
• 複数の分類出力に対するクロスエントロピー損失と、最終分割出力の L1 損失を含むマルチタスク損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 閉集合から学習したカウントモデルは、空間的分割統治を介して開集合のカウントへ一般化できるか？
• RQ2 過度の計算なしに正確な開集合カウントを得るには分割段階をいくつ必要か？
• RQ3 カウントを区間分類として再定式化することは、直接回帰より性能を改善するか？
• RQ4 Cmax および分割戦略が S-DCNet の性能に与える影響は？
• RQ5 S-DCNet は、群衆、車両、植物の多様なカウントデータセットに対して、最新手法と比較してどのように性能を示すか？

主な発見

• S-DCNet は ShanghaiTech Part_A および Part_B、UCF-QNRF、TRANCOS、MTC データセットで最先端の MAE/MSE を達成する。
• 2 段階の S-DC で十分に高性能を実現でき、2 段階を超えると増分効果は小さくなる。
• 局所カウントを区間に離散化し、共有分類器を用いることで、直接回帰や通常の分類より頑健性が向上する。
• S-DC により、閉集合で訓練したモデルが訓練最大値を超えるカウント（開集合）に対しても効果的に一般化する。
• S-DCNet は、複数のデータセット（例：ShanghaiTech Part_B、UCF-QNRF、TRANCOS、MTC）で従来手法に対して相対的に大きな改善を示す。