[論文レビュー] A-CCNN: adaptive ccnn for density estimation and crowd counting

Saeed Amirgholipour Kasmani, Xiangjian He+3 more|arXiv (Cornell University)|Apr 19, 2018

Video Surveillance and Tracking Methods参考文献 13被引用数 3

ひとこと要約

本稿では、頭のサイズと文脈的情報に基づき、局所的な画像パッチに対して最適なハイパーパrameterを動的に選択することで、集団の人数をより正確に推定する、適応的カウンティング畳み込みニューラルネットワーク（A-CCNN）を提案する。Fuzzy推論エンジンを活用して各領域に最適化されたCCNNモデルを構築することで、UCSD、UCF-CC、シドニー鉄道駅のデータセットで最先端の性能を達成し、UCSDではMAEが1.35（最低）、UCF-CCでは367.3を記録した。

ABSTRACT

Crowd counting, for estimating the number of people in a crowd using vision-based computer techniques, has attracted much interest in the research community. Although many attempts have been reported, real-world problems, such as huge variation in subjects' sizes in images and serious occlusion among people, make it still a challenging problem. In this paper, we propose an Adaptive Counting Convolutional Neural Network (A-CCNN) and consider the scale variation of objects in a frame adaptively so as to improve the accuracy of counting. Our method takes advantages of contextual information to provide more accurate and adaptive density maps and crowd counting in a scene. Extensively experimental evaluation is conducted using different benchmark datasets for object-counting and shows that the proposed approach is effective and outperforms state-of-the-art approaches.

研究の動機と目的

• 深層学習を用いて、スケール変動と重度の隠蔽が生じる状況における集団カウントの課題に対処すること。
• 局所的な画像特性に応じてネットワークの挙動を適応させることで、密度マップ推定の精度を向上させること。
• すべての画像領域に均一に適用される固定アーキテクチャのCCNNモデルの限界を克服すること。
• 電車の駅など複雑で現実的な状況において、頑健かつリアルタイムな集団カウントを可能にすること。
• 複雑なマルチブランチアーキテクチャを避ける一方で、最先端の手法を上回る性能を発揮する軽量で適応可能なフレームワークを開発すること。

提案手法

• 入力画像内の頭のサイズと位置を推定するため、CNNベースの頭部検出モデルを用いる。
• 頭のサイズと空間的文脈を、最適なCCNNハイパーパrameter（パッチサイズとシグマ）にマッピングするFuzzy推論エンジンを採用する。
• スライディングウィンドウ法を用いて入力画像をパッチに分割し、各パッチに対して動的に選択されたハイパーパラメータを有するCCNNモデルを適用する。
• 適応されたCCNNを用いて各パッチごとに局所的な密度マップを生成し、それらを統合して完全なグローバル密度マップを構築する。
• 周囲の領域からの文脈的情報を活用してハイパーパラメータ選択を改善し、密集・隠蔽が顕著な領域での誤差を低減する。
• 教師データの密度マップを、アノテートされた頭部位置を中心とする2次元ガウス関数の和として定義する回帰ベースのCCNNフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 スケール変動が著しいシーンにおける密度推定精度を、CCNNハイパーパラメータの適応的選択によって向上させられるか？
• RQ2 局所的な文脈的情報を組み込むことで、重度に隠蔽されたシーンにおける集団カウントの精度はどのように向上するか？
• RQ3 複雑なマルチブランチまたはスイッチングCNNよりも、単一で統一されたアーキテクチャがモデルの複雑さを増さずに性能を上回れるか？
• RQ4 Fuzzy推論エンジンは、多様な集団密度や画像解像度にわたる一般化性能をどの程度向上させるか？
• RQ5 適応的アプローチは、シドニー鉄道駅の映像のように現実的で低解像度、かつ多様な変動が生じるデータセットでも高い性能を維持できるか？

主な発見

• A-CCNNはUCSDデータセットでMAEが1.35（最低）を記録し、すべての先行最先端手法を上回った。
• UCSDデータセットでは、すべてのサブセットで元のCCNNと比較してMAEを8%以上低減し、特にスケーリングアップサブセットでは最高の性能（MAE 1.04）を達成した。
• UCF-CC 50データセットでは、A-CCNNはMAEが367.3を記録し、元のCCNN（488.67）と比較して121.37の改善を達成し、比較した6つの手法のうち4つを上回った。
• シドニー鉄道駅データセットでは、A-CCNNはMAEがC5で1.69、C9で1.87を記録し、CCNNの3.90と4.23を大きく下回り、隠蔽やスケール変動に対する頑健性を示した。
• 本手法は、低解像度、極度の隠蔽、大きなサイズ差が生じる多様な条件下でも高い精度を維持しており、その適応性を実証した。
• 単純な構造であるにもかかわらず、Switch-CNN や Hydra-CCNN といった複雑なモデルと同等またはそれ以上の性能を発揮しており、優れた効率性と有効性を示している。