[論文レビュー] Fully Convolutional Neural Networks for Crowd Segmentation

Kai Kang, Xiaogang Wang|arXiv (Cornell University)|Nov 17, 2014

Video Surveillance and Tracking Methods参考文献 37被引用数 122

ひとこと要約

本論文は、1回の順方向伝搬で全画像を処理する、完全畳み込みニューラルネットワーク（FCNN）を提案し、パッチ単位のスキャンを不要にするリアルタイムの群衆セグメンテーションを実現する。複数段階および統合ベースの学習により、外見、動き、構造の特徴を統合することで、新たに作成された2つの大規模な群衆セグメンテーションデータセットにおいて、SOTA性能を達成し、City DatasetではAUCスコアが最大0.9761に達する。

ABSTRACT

In this paper, we propose a fast fully convolutional neural network (FCNN) for crowd segmentation. By replacing the fully connected layers in CNN with 1 by 1 convolution kernels, FCNN takes whole images as inputs and directly outputs segmentation maps by one pass of forward propagation. It has the property of translation invariance like patch-by-patch scanning but with much lower computation cost. Once FCNN is learned, it can process input images of any sizes without warping them to a standard size. These attractive properties make it extendable to other general image segmentation problems. Based on FCNN, a multi-stage deep learning is proposed to integrate appearance and motion cues for crowd segmentation. Both appearance filters and motion filers are pretrained stage-by-stage and then jointly optimized. Different combination methods are investigated. The effectiveness of our approach and component-wise analysis are evaluated on two crowd segmentation datasets created by us, which include image frames from 235 and 11 scenes, respectively. They are currently the largest crowd segmentation datasets and will be released to the public.

研究の動機と目的

• 高密度な公共監視環境におけるリアルタイムかつ高精度な群衆セグメンテーションの課題に対処すること。
• パッチ単位のCNN推論における計算の非効率性を解消するため、完全畳み込みアーキテクチャを提案すること。
• 外見、動き、構造的エッジといった複数の特徴を統合した包括的な深層学習フレームワークを構築し、セグメンテーションのロバスト性を向上させること。
• 今後の研究を支援するため、235および11台のカメラビューを含む大規模で多様な群衆セグメンテーションデータセットを構築・公開すること。
• 多様なデータで学習し、未観測のシーンでテストすることで、シーン間での一般化性能を示すこと。

提案手法

• 畳み込みニューラルネットワーク（CNN）の全結合層を1×1畳み込みカーネルに置き換えることで、並進不変性と可変入力サイズのサポートを実現し、エンドツーエンドの全画像セグメンテーションを可能にする。
• 外見、動き（背景差分）、構造（エッジ検出）特徴のための別々のFCNNブランチを、複数段階の段階的事前学習と共同微調整のパイプラインで学習する。
• 3つの統合戦略を実装する：入力統合（入力の早期連結）、特徴統合（高レベル特徴の後期連結）、意思決定統合（最終予測の投票）。
• 推論に1回の順方向伝搬を用いることで、画像のリサイズや変形を伴わずに、フル解像度画像のリアルタイム処理を実現する。
• 畳み込み層の空間的不変性を活用し、異なる画像スケールや視点に対しても一貫した特徴学習を維持する。
• 深層アーキテクチャでマックスプーリングとReLU活性化関数を適用し、生画像から階層的特徴を抽出した後、アップサンプリングにより密度予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みネットワークは、パッチ単位のスキャンを回避して、リアルタイムかつ全画像セグメンテーションを達成できるか？
• RQ2 外見、動き、構造の特徴が、複雑な群衆シーンにおいて個別および統合的にどのようにセグメンテーション精度を向上させるか？
• RQ3 複数段階・複数特徴の深層学習フレームワークは、多様なカメラビューおよび環境条件下でどの程度一般化できるか？
• RQ4 外見、動き、構造的特徴を統合する最適な統合戦略（入力、特徴、意思決定レベル）は何か？
• RQ5 本手法は、従来のハンドクラフト特徴（例：HOG、GMM）およびベースラインの深層学習モデルと比較して、大規模で現実世界の群衆データセットでどのように性能を発揮するか？

主な発見

• 提案されたFCNNは、1回の順方向伝搬によりリアルタイム推論を実現し、GPU上で1フレームあたり5分（パッチベース）から1秒未塔に計算時間を短縮する。
• 動きのみのFCNNは、City DatasetでAUC 0.9739を達成し、外見および構造モデルを上回る。これは動的シーンにおける強い動きの特徴によるものである。
• 特徴統合と意思決定統合の手法は単一モデルの性能を向上させ、特徴統合はShanghai World Expo DatasetでAUC 0.9511、City DatasetでAUC 0.9724を達成する。
• 統合モデルは誤検出（例：建物や木）と誤検出（例：遠くの静止した歩行者）を低減し、個々のブランチの相補的な強みを示している。
• 外見モデルのみで、Shanghai World Expo DatasetでAUC 0.9376を達成し、HOG+SVM（0.8818）およびGMM（0.8068）を大きく上回る。これは学習された特徴の優位性を示している。
• City Datasetは11台のカメラビューとより長いクリップを含むため、より良い背景モデリングが可能となり、GMMのAUCが0.8923に達する（Shanghaiデータセットより高い）。これは時間的データ品質の影響を示している。