[論文レビュー] Enhanced 3D Convolutional Networks for Crowd Counting

Zhikang Zou, Huiliang Shao+3 more|arXiv (Cornell University)|Aug 12, 2019

Video Surveillance and Tracking Methods参考文献 36被引用数 13

ひとこと要約

本稿では、動画ベースの混雑度推定のため、空間的・時間的特徴とグローバルコンテキストを共同でモデル化する新しいアーキテクチャ「Enhanced 3D Convolutional Networks (E3D)」を提案する。3D畳み込みと時間的チャネルに注意を向ける（TCA）ブロックを活用することで、E3Dは3つのベンチマークデータセットで最先端の性能を達成し、TRANCOSにおける車両数の推定に対しても効果的に一般化している。

ABSTRACT

Recently, convolutional neural networks (CNNs) are the leading defacto method for crowd counting. However, when dealing with video datasets, CNN-based methods still process each video frame independently, thus ignoring the powerful temporal information between consecutive frames. In this work, we propose a novel architecture termed as "temporal channel-aware" (TCA) block, which achieves the capability of exploiting the temporal interdependencies among video sequences. Specifically, we incorporate 3D convolution kernels to encode local spatio-temporal features. Furthermore, the global contextual information is encoded into modulation weights which adaptively recalibrate channel-aware feature responses. With the local and global context combined, the proposed block enhances the discriminative ability of the feature representations and contributes to more precise results in diverse scenes. By stacking TCA blocks together, we obtain the deep trainable architecture called enhanced 3D convolutional networks (E3D). The experiments on three benchmark datasets show that the proposed method delivers state-of-the-art performance. To verify the generality, an extended experiment is conducted on a vehicle dataset TRANCOS and our approach beats previous methods by large margins.

研究の動機と目的

• 従来のCNNベースの混雑度推定手法が動画フレームを独立して扱うという限界を是正し、貴重な時間的依存関係を無視することを防ぐ。
• 動画シーケンスにおける局所的な空間的・時間的特徴とグローバルコンテキスト情報を共同でモデル化することで、特徴表現を向上させる。
• 時間経過に伴う動的な混雑パターンを効果的に捉えながらも、計算効率を維持する、深く学習可能なアーキテクチャを構築する。
• 提案手法が混雑度推定をはるかに超えて、車両数推定などの応用分野へも一般化可能であることを実証する。

提案手法

• 動画クリップから局所的な空間的・時間的特徴を抽出するために、3D畳み込みカーネルを組み合わせた新しい時間的チャネルに注意を向ける（TCA）ブロックを提案する。
• チャネルごとの特徴応答を適応的に再スケーリングする調節重みに、グローバルコンテキスト情報を統合することで、識別能を向上させる。
• トレーニングの安定化と深層ネットワークへの複数ブロックのスタッキングを可能にするために、TCAブロック内に短いスキップ接続を導入する。
• 複数のTCAブロックをスタックすることで、空間的・時間的表現のエンドツーエンド学習が可能な「強化された3次元畳み込みネットワーク（E3D）」を構築する。
• 3D畳み込みを2D畳み込みに置き換えることで、時間的モデリングの必要性を評価するため、退化版（E2D）を設計する。
• アブレーションスタディを通じて、フレーム長、TCAブロック数、および構成要因の最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 3D畳み込みニューラルネットワークは、動画シーケンスにおける時間的依存関係を効果的に活用できるか？
• RQ2 局所的な空間的・時間的特徴とグローバルコンテキスト情報を統合することで、混雑度推定モデルの精度はどのように向上するか？
• RQ3 動画混雑度推定で最良の性能を得るための最適なフレーム数とTCAブロック数は何か？
• RQ4 提案手法は混雑度推定をはるかに超えて、車両数推定などの他の計数タスクに対しても一般化可能か？

主な発見

• E3Dは、WorldExpo’10、UCSD、MALLの3つのベンチマーク混雑度推定データセットで最先端の性能を達成し、それぞれ平均絶対誤差（MAE）が2.8、12.5、12.9であった。
• アブレーションスタディの結果、グローバルコンテキストブランチを削除するとUCSDでのMAEが0.93から1.00に上昇し、グローバルコンテキスト統合の有効性が裏付けられた。
• 入力フレーム数を8から16に増やすと性能が顕著に向上（MAEは1.27から0.93に低下）し、十分な時間的コンテキストが不可欠であることが示された。
• TCAブロックの最適数は8であり、このときUCSDで最も低いMAE（0.93）を達成した。ブロック数が少ないか多すぎる場合、性能は劣化した。
• TRANCOS車両数推定データセットでは、E3DがMAE 0.93を達成し、従来手法を大きく上回り、一般化能力の有効性を裏付けた。
• 2D畳み込みを用いた退化版E2Dでも良好な性能（UCSDでのMAE = 1.00）を示したが、時間的データが利用可能な場合、3D畳み込みによる性能向上が顕著に見られた。