[論文レビュー] Estimating People Flows to Better Count Them in Crowded Scenes

Weizhe Liu, Mathieu Salzmann+1 more|arXiv (Cornell University)|Nov 25, 2019

Video Surveillance and Tracking Methods参考文献 61被引用数 4

ひとこと要約

本稿では、密集シーンにおける連続フレーム間の人物フローを推定することで、強力な保存則制約を用いたフローに基づく密度推定を活用し、群衆カウントの精度を向上させる手法を提案する。密度ではなくフローを回帰することで、光学フローの相関を活用し、より深いネットワークを用いずに最先端の性能を達成しており、ベンチマークデータセット上でMAEを最大21.5%まで低減している。

ABSTRACT

Modern methods for counting people in crowded scenes rely on deep networks to estimate people densities in individual images. As such, only very few take advantage of temporal consistency in video sequences, and those that do only impose weak smoothness constraints across consecutive frames. In this paper, we advocate estimating people flows across image locations between consecutive images and inferring the people densities from these flows instead of directly regressing. This enables us to impose much stronger constraints encoding the conservation of the number of people. As a result, it significantly boosts performance without requiring a more complex architecture. Furthermore, it also enables us to exploit the correlation between people flow and optical flow to further improve the results. We will demonstrate that we consistently outperform state-of-the-art methods on five benchmark datasets.

研究の動機と目的

• 現在の密度ベースの手法よりも、時間的ダイナミクスをより効果的にモデル化することで、密集シーンにおける群衆カウントを向上させること。
• 人物フローの保存則を強制することで、フレーム間で人物が無駄に生成されたり消失したりしない、強力な時間的整合性を確保すること。
• 光学フローと人物フローの相関を活用して、さらに予測を正則化し、耐性を高めること。
• 標準的なネットワークアーキテクチャでも、フローに基づく推定が直接密度回帰を上回ることを示すこと。
• 複数のベンチマークデータセットで手法を検証し、多様な密集シーンにおいて一貫した向上を示すこと。

提案手法

• 画像をグリッドに分割し、各グリッドセルに対して9つの隣接セルへのフローと1つの外側へのフロー、および1つのセル内に留まる人物のフローの合計10種類のフローを回帰する。
• 各グリッド位置における人物密度は、すべての流入フローの合計によって計算され、フロー連続性によって時間的に人物が保存されることを保証する。
• 新しい損失関数により、各セルへのネットフローが密度の変化と一致するように厳密な人物保存則を強制する。これは式(1)および(3)から導出される。
• 2つの連続フレームからのフローを回帰するため、CANベースのネットワークを用い、さらに光学フローからの追加の監視により、運動パターンを一致させる。
• 画像平面および地面平面の両方のフロー推定をサポートしており、カメラキャリブレーションが利用可能な場合、地面平面推定により性能が向上する。
• アブレーションスタディでは、フローに基づく回帰と直接密度回帰、時間平均、弱い保存則制約を比較する。

実験結果

リサーチクエスチョン

• RQ1 連続フレーム間の人物フローをモデル化することで、直接密度回帰と比較して、群衆カウントの精度が向上するか？
• RQ2 フレーム間で人物保存則を厳密に強制することで、より頑健で正確な密度推定が得られるか？
• RQ3 光学フローと人物フローの相関を活用することで、さらに性能向上が達成できるか？
• RQ4 より深いまたは複雑なネットワークアーキテクチャを必要とせずに、提案されたフローに基づく定式化が既存手法を上回るか？
• RQ5 本手法は、多様なデータセットおよびカメラキャリブレーションの有無などの異なる条件下でも、どのように性能を発揮するか？

主な発見

• UCSDデータセットでは、ベースラインからのMAEが0.98から0.81に低下し、21.5%のMAE低減を達成した。
• FDSTデータセットでは、RMSEがベースラインの1.26から1.07に低下し、指標全体にわたり一貫した改善を示した。
• アブレーションスタディにより、強い保存則制約を用いたフローに基づく推定（OURS-COMBI）が、弱い制約（WEAK）および直接密度回帰（BASELINE）を上回ることが確認された。
• フロー回帰と光学フロー監視の組み合わせ（OURS-COMBI）が最良の性能を示し、運動の相関が精度向上に寄与することが示された。
• CrowdFlow、FDST、UCSDを含む5つのベンチマークデータセットにおいて、本手法は常に最先端の手法を上回った。
• カメラキャリブレーションを用いて地面平面に適用した場合、性能がさらに向上し、補足資料でもその結果が示されている。