[論文レビュー] C^3 Framework: An Open-source PyTorch Code for Crowd Counting

Junyu Gao, Wei Lin+4 more|arXiv (Cornell University)|Jul 5, 2019

Anomaly Detection Techniques and Applications参考文献 9被引用数 35

ひとこと要約

オープンソースの PyTorch コードフレームワーク（C3F）を群衆カウントのために提供し、堅実なベースライン、主要データセットのデータ前処理戦略、主流手法の再現、そして堅牢な実験ログシステムを備えています。

ABSTRACT

This technical report attempts to provide efficient and solid kits addressed on the field of crowd counting, which is denoted as Crowd Counting Code Framework (C$^3$F). The contributions of C$^3$F are in three folds: 1) Some solid baseline networks are presented, which have achieved the state-of-the-arts. 2) Some flexible parameter setting strategies are provided to further promote the performance. 3) A powerful log system is developed to record the experiment process, which can enhance the reproducibility of each experiment. Our code is made publicly available at \url{https://github.com/gjy3035/C-3-Framework}. Furthermore, we also post a Chinese blog\footnote{\url{https://zhuanlan.zhihu.com/p/65650998}} to describe the details and insights of crowd counting.

研究の動機と目的

• 群衆カウント研究とベンチマークのための統一的で効率的なコードインターフェースを提供する。
• AlexNet、VGG、ResNet に由来する堅実なベースラインモデルを密度マップ推定のために提供する。
• 公正な比較を可能にするデータセット固有の前処理ガイドラインを提供する。
• 包括的なログシステムとオープンソースツールを通じて再現性を実現する。
• 主流手法の再現を示し、公正なベンチマークを促進する。

提案手法

• AlexNet、VGG、ResNet から適合させた密度マップ回帰の堅実なベースラインネットワークを提示する。
• エンコーダ-デコーダ構造と特化したアップサンプリングを用いて1チャネルの密度マップを生成する。
• 6つのデータセット（UCF_CC_50、WorldExpo’10、SHTA、SHTB、UCF-QNRF、GCC）に対する前処理戦略を提案し、画像スケールと16で割り切れる入力サイズを含む。
• ダウンサンプリングと正規化を含むラベル変換オプションを検討する。PSNR/SSIM の関係で重い密度マップのダウンサンプリングは避けることを推奨する。
• C3F フレームワーク内で MCNN、CMTL、CSRNet、SANet の再現研究を実施し、性能を高める実践的トリックを提供する。
• コミュニティ利用と貢献のためのオープンソースコードベースを GitHub に提供する。

実験結果

リサーチクエスチョン

• RQ1 再現性のある統一前処理とコードインターフェースは、群衆カウント手法間の公正なベンチマークを可能にするか。
• RQ2 標準のバックボーン（AlexNet、VGG、ResNet）は統一された C3F フレームワーク内で密度マップ回帰器としてどのように機能するか。
• RQ3 データセット固有の入力スケーリングと変換戦略が、一般的なベンチマークにおけるカウント精度（MAE/MSE）に与える影響はどれくらいか。
• RQ4 再現トリックは、主要な群衆カウント手法の公表パフォーマンスと再現結果をどの程度一致させることができるか。
• RQ5 中央集約型のログシステムは群衆カウント研究の実験再現性と追跡性を改善するか。

主な発見

• ResNet ベースのモデルは、テスト設定でMAE 7.6–7.7、MSE 12.2–12.6 の高い性能を達成する。
• VGG ベースの設定は MAE が約 10.3–10.5、MSE が約 16.0–17.4 となり、VGG+デコーダは密度マップをシャープにする。
• CSRNet の再現結果は、元の図とほぼ一致（MAE 10.6、元の MSE 16.0 vs 再現で 10.6、16.6）。
• MCNN、CMTL、SANet の再現は一部の報告数値とギャップを示すが、SANet の再現は元の結果に最も近い（例：SANet 元 8.4/13.6 対 再現 12.1/19.2）。
• 本フレームワークは、公平な比較を促進する実践的なデータ前処理戦略（画像スケール、16 の割り切り入力サイズ）を提供する。
• C3F は実験間の再現性を高める堅牢なログシステムを含む。