[論文レビュー] ADCrowdNet: An Attention-injective Deformable Convolutional Network for Crowd Understanding

Ning Liu, Yongchao Long+4 more|arXiv (Cornell University)|Nov 29, 2018

Video Surveillance and Tracking Methods参考文献 37被引用数 29

ひとこと要約

ADCrowdNet は、2段階のアーキテクチャを用いる注目型注入可変畳み込みニューラルネットワークであり、注目マップ生成器（AMG）で混雑度と混雑領域を検出し、多スケール可変畳み込みを備えた密度マップ推定器（DME）で高精度な密度マップを生成することで、混雑でノイズの多いシーンにおける精度を向上させる。複数の混雑度カウントデータセットで最先端の性能を達成し、平均絶対誤差（MAE）において CSRNet を最大で 18.8% 優れている。

ABSTRACT

We propose an attention-injective deformable convolutional network called ADCrowdNet for crowd understanding that can address the accuracy degradation problem of highly congested noisy scenes. ADCrowdNet contains two concatenated networks. An attention-aware network called Attention Map Generator (AMG) first detects crowd regions in images and computes the congestion degree of these regions. Based on detected crowd regions and congestion priors, a multi-scale deformable network called Density Map Estimator (DME) then generates high-quality density maps. With the attention-aware training scheme and multi-scale deformable convolutional scheme, the proposed ADCrowdNet achieves the capability of being more effective to capture the crowd features and more resistant to various noises. We have evaluated our method on four popular crowd counting datasets (ShanghaiTech, UCF_CC_50, WorldEXPO'10, and UCSD) and an extra vehicle counting dataset TRANCOS, and our approach beats existing state-of-the-art approaches on all of these datasets.

研究の動機と目的

• 背景ノイズ、隠蔽、非一様な混雑度分布の影響により精度が低下する混雑でノイズの多いシーンにおける混雑度カウントの課題に対処すること。
• 視覚的注目メカニズムと可変畳み込みニューラルネットワークを統合することで、密度マップ推定と混雑度カウントの精度を向上させること。
• 注目事前知識と多スケール可変畳み込み特徴を活用した2段階フレームワークを構築し、複雑な混雑環境における耐性と精度を高めること。
• TRANCOS の車両カウントデータセットを用いて、混雑度カウントを超えた一般化能力を実証すること。

提案手法

• 注目マップ生成器（AMG）による混雑領域検出と混雑度推定、密度マップ推定器（DME）による密度マップ生成を目的とした2ブランチネットワークアーキテクチャを提案する。
• AMG を、第三者の非混雑背景画像（非混雑領域）を用いた負例データを活用した二値分類ネットワークとして設計し、混雑領域と背景を区別する。
• AMG に視覚的注目メカニズムを統合し、関連する混雑領域に注目を集中させ、ノイズを抑制することで特徴表現の質を向上させる。
• DME に多スケール可変畳み込み方式を実装し、空間的変形に基づいて特徴を動的にサンプリングすることで、複雑な混雑度分布と透視歪みに適応する。
• 2段階でモデルを学習する：まず AMG を学習して注目マップを生成し、次に注目マップを入力事前知識として DME をファインチューニングする。
• 密度マップ回帰のための損失関数として L1 と L2 範囲の組み合わせを用い、局所化精度とカウント精度の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 注目型注入可変畳み込みニューラルネットワークは、混雑でノイズの多い混雑度シーンにおいてノイズを効果的に抑制し、精度を向上させることができるか？
• RQ2 注目マップ生成器から得られる混雑度事前知識の統合は、多様な混雑度分布における密度マップ推定をどの程度向上させるか？
• RQ3 多スケール可変畳み込みは、固定オフセットの拡張畳み込みに比べて、混雑度カウントの性能をどの程度向上させるか？
• RQ4 提案された ADCrowdNet は、混雑度カウントを越えて、車両カウントなどの他のカウントタスクに対しても一般化できるか？
• RQ5 AMG の学習後に DME を学習する2段階学習スキームは、エンドツーエンド学習に比べて耐性と精度の面で優れているか？

主な発見

• ShanghaiTech Part_A において、ADCrowdNet は MAE が 23.79 で、CSRNet の 24.48 よりも 3.0% 低い。
• ShanghaiTech Part_B において、ADCrowdNet は MAE を 18.8% 低減し 27.02 にまで低下させ、CSRNet の 29.35 を上回った。
• UCF_CC_50 において、ADCrowdNet は MAE が 18.76 で、CSRNet の 20.08 よりも 13.9% の改善を達成した。
• WorldExpo’10 データセットにおいて、ADCrowdNet は MAE が 26.94 で、CSRNet の 29.12 よりも 3.0% の改善を示した。
• UCSD データセットにおいて、ADCrowdNet は MAE を 13.9% 低減し 20.02 にまで低下させ、CSRNet の 26.39 を上回った。
• TRANCOS 車両カウントデータセットにおいて、ADCrowdNet はすべてのレベルで最低のグリッド平均絶対誤差（GAME）を達成し、GAME0 で 2.39、GAME3 で 14.82 を記録した。CSRNet はそれぞれ 3.56 と 15.04 であった。