[論文レビュー] Structured Inhomogeneous Density Map Learning for Crowd Counting

Hanhui Li, Xiangjian He+5 more|arXiv (Cornell University)|Jan 20, 2018

Video Surveillance and Tracking Methods参考文献 25被引用数 12

ひとこと要約

本稿では、2次元密度マップを3次元に拡張することで、密度レベルを符号化する第3次元を導入し、構造的非一様密度マップ学習手法を提案する。この手法は、単一の密度認識ネットワーク（DAN）を用いて訓練の安定性を向上させ、ShanghaiTech AおよびBの高密度データセットにおいて最先端の性能を達成し、Part Bで平均絶対誤差（MAE）81.8を達成した。

ABSTRACT

In this paper, we aim at tackling the problem of crowd counting in extremely high-density scenes, which contain hundreds, or even thousands of people. We begin by a comprehensive analysis of the most widely used density map-based methods, and demonstrate how easily existing methods are affected by the inhomogeneous density distribution problem, e.g., causing them to be sensitive to outliers, or be hard to optimized. We then present an extremely simple solution to the inhomogeneous density distribution problem, which can be intuitively summarized as extending the density map from 2D to 3D, with the extra dimension implicitly indicating the density level. Such solution can be implemented by a single Density-Aware Network, which is not only easy to train, but also can achieve the state-of-art performance on various challenging datasets.

研究の動機と目的

• 非一様な密度分布が原因で、深層ネットワークの高密度集団計数における性能が劣ることを解決する。
• 非一様な密度分布が勾配爆発や外れ値への感受性といった最適化の問題を引き起こすことを特定する。
• 2次元密度マップを3次元構造的マップに変換することで、密度レベルを暗黙的に符号化する、シンプルだが効果的な解決策を提案する。
• 密度レベルの回帰と分類を同時に実行できる、1つのトレーニング可能な密度認識ネットワーク（DAN）を開発する。
• 提案手法がベンチマークデータセットで最先端の性能を達成し、より頑健で一般化能力に優れた結果を示すことを実証する。

提案手法

• 密度範囲を離散的なレベルに分割することで、2次元の真値密度マップを3次元構造的密度マップに変換する（例：[9, 25, 49, 81]）。
• 回帰損失（Huber損失）と分類損失を組み合わせたマルチレベル損失関数を定義し、ネットワークの回帰とレベル分類の両方の学習を可能にする。
• 勾配爆発の防止と訓練の安定化を図るため、スキップ接続とバッチ正規化を施した変更版VGG-16バックボーンを用いる。
• 各ブランチが特定の密度レベルの密度マップを予測するマルチブランチアーキテクチャを実装し、局所的学習を促進し、一般化性能を向上させる。
• より困難なサンプル（例：高密度領域）に優先順位を付ける損失関数の重み付け戦略を適用し、モデルの頑健性を向上させる。
• L2損失とHuber損失の組み合わせを用いたエンドツーエンド最適化により、高密度状況でも安定した収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは表現能力に優れているが、なぜ高密度集団計数では一般化に失敗するのか？
• RQ2 集団画像における非一様な密度分布が、深層学習モデルの最適化プロセスにどのように影響を与えるのか？
• RQ3 2次元密度マップを3次元構造的マップに変換することで、外れ値の影響を軽減し、訓練の安定性を向上させられるか？
• RQ4 複雑なマルチサブネットアーキテクチャを用いずに、1つの統合ネットワークで最先端の性能を達成できるか？
• RQ5 密度レベルの数（ブランチ数）がモデルの性能と頑健性にどのように影響を与えるか？

主な発見

• 集団画像における非一様な密度分布は、極端な外れ値と非一様な密度変動のため、勾配爆発や収束の悪化を引き起こし、特に深層ネットワークにおいて顕著である。
• ℓ₂損失を用いてVGG-16を直接訓練すると勾配爆発が発生するため、外れ値と非一様な密度による不安定性が確認された。
• Huber損失とマルチブランチ構造を備えた提案された密度認識ネットワーク（DAN）は、深層ネットワークの訓練に成功し、ShanghaiTech Part BでMAE 81.8を達成した。
• DAN-1-H（Huber損失）ではMAEが87.0、DAN-1（重み付き損失）では84.3に改善され、損失の重み付け戦略の有効性が実証された。
• ブランチ数を増やす（例：4ブランチ、閾値[9, 49, 121, 25]）ことで性能が向上し、モデルが理想のテンプレートをよりよく近似し、より多くの局所モデルをアンサンブルできるようになった。
• 定性的な結果から、予測された構造的密度マップが明確に4つのレベルに分かれていることが確認され、モデルが同時に回帰と分類を実行できることを検証した。