[論文レビュー] SOFA-Net: Second-Order and First-order Attention Network for Crowd Counting

Haoran Duan, Shidong Wang+1 more|arXiv (Cornell University)|Aug 9, 2020

Video Surveillance and Tracking Methods参考文献 15被引用数 7

ひとこと要約

SOFA-Net は、密な群衆状況における特徴表現を向上させるために、2次および1次統計的特徴を活用する、群衆数え上げのための新規な深層学習フレームワークを提案する。統計的特徴に基づく畳み込みとマルチストリームアテンションアーキテクチャを導入することで、密度マップ回帰性能が向上し、4つの公開データセットにおいて最先端の性能を達成した。ShanghaiTech Part A では 57.5 MAE を達成した。

ABSTRACT

Automated crowd counting from images/videos has attracted more attention in recent years because of its wide application in smart cities. But modelling the dense crowd heads is challenging and most of the existing works become less reliable. To obtain the appropriate crowd representation, in this work we proposed SOFA-Net(Second-Order and First-order Attention Network): second-order statistics were extracted to retain selectivity of the channel-wise spatial information for dense heads while first-order statistics, which can enhance the feature discrimination for the heads' areas, were used as complementary information. Via a multi-stream architecture, the proposed second/first-order statistics were learned and transformed into attention for robust representation refinement. We evaluated our method on four public datasets and the performance reached state-of-the-art on most of them. Extensive experiments were also conducted to study the components in the proposed SOFA-Net, and the results suggested the high-capability of second/first-order statistics on modelling crowd in challenging scenarios. To the best of our knowledge, we are the first work to explore the second/first-order statistics for crowd counting.

研究の動機と目的

• 従来の手法が特徴表現が不十分であるため、失敗する高密度かつ被覆状態のシーンにおける正確な群衆数え上げの課題に対処すること。
• 困難な状況下での群衆パターンをモデル化するための2次および1次統計的特徴の実現可能性と有効性を調査すること。
• 2次および1次統計的特徴を統合するマルチストリームアテンション機構を設計し、密度マップ予測を精緻化すること。
• 統計的特徴に基づく畳み込み、正規化マスク、スケール強化などの特化されたコンポーネントを通じて、密度マップ回帰の品質を向上させること。
• 2次および1次統計的特徴が特徴の識別性と空間選択性を向上させる上で相補的であることを実証的に検証すること。

提案手法

• モデルは、特徴マップから2次（SO）および1次（FO）統計的特徴を学習するマルチストリームアーキテクチャを採用し、高密度な頭部領域における表現を強化する。
• 2次および1次統計的特徴を学習可能なアテンションマップに変換するための統計的特徴に基づく畳み込み（Statistic-Wise Convolution）を提案する。
• 2次統計的特徴は、高密度な頭部領域における空間的選択性と高い尤度を保持するが、1次統計的特徴は頭部領域における特徴の識別性を向上させる。
• 密度マップのスケーリングと非頭部領域における無関係な出力を抑制するために、エンドツーエンドで訓練可能な正規化マスクを導入し、回帰精度を向上させる。
• 特徴ストリームおよびタスク間でパラメータを共有する3ストリームの重み共有方式を採用することで、特徴学習と正規化の効率的かつ統合的な最適化を実現する。
• スケール強化および正規化戦略を適用し、特に大規模な群衆シーンにおいて生成される密度マップの品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次および1次統計的特徴は、高密度かつ被覆状態のシーンにおける群衆表現を向上させることができるか？
• RQ2 2次および1次統計的特徴は、群衆密度パターンをモデル化する上でどのように相補的に機能するか？
• RQ3 2次および1次統計的特徴を統合することで、密度マップ回帰性能にどのような影響を与えるか？
• RQ4 提案された統計的特徴に基づく畳み込みは、統計的特徴をアテンションマップに変換する上で効果的か？
• RQ5 重み共有を用いて訓練された正規化マスクは、非共有または完全共有の手法と比較して、密度マップ品質を向上させるか？

主な発見

• 提案された SOFA-Net は、挑戦的な ShanghaiTech Part A データセットで平均絶対誤差（MAE）57.5 を達成し、以前の最先端手法を上回った。
• 2次統計的特徴のアテンションが性能向上に最も寄与し、アテンションなしの状態（MAE 68.6）から MAE 60.8 まで低下した。
• 2次および1次特徴の組み合わせが最良の結果をもたらし、ShanghaiTech Part A では MAE を 57.5、MSE を 92.1 まで低下させた。
• アブレーションスタディの結果、3ストリームの重み共有方式で訓練された正規化マスクは、非共有または完全共有の代替手法よりも顕著に性能を向上させた。
• 定性的な結果から、2次特徴は正確な頭部尤度を保持していたが、1次特徴は境界の識別性を向上させ、両者の統合により最も明確かつ正確な密度マップが得られた。
• モデルは極端な状況においても頑健であり、1000人を超える人々がいるシーンでさえも、正確な密度マップを生成した。