[論文レビュー] Crowd Counting via Weighted VLAD on Dense Attribute Feature Maps

Biyun Sheng, Chunhua Shen+4 more|arXiv (Cornell University)|Apr 29, 2016

Video Surveillance and Tracking Methods参考文献 30被引用数 16

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（DCNN）から得られるピクセル単位のセマンティック特徴マップを活用して、セマンティック属性と空間的文脈を両方捉える局所性に配慮した特徴（LAF）を抽出する、画期的な集団数え上げ手法を提案する。本手法は、これらの特徴を符号化するための重み付きVLAD（W-VLAD）を導入し、UCSDでMAE 2.41、Caltech 10XでMAE 1.36を達成するなど、ベンチマークデータセットで最先端の性能を実現した。

ABSTRACT

Crowd counting is an important task in computer vision, which has many applications in video surveillance. Although the regression-based framework has achieved great improvements for crowd counting, how to improve the discriminative power of image representation is still an open problem. Conventional holistic features used in crowd counting often fail to capture semantic attributes and spatial cues of the image. In this paper, we propose integrating semantic information into learning locality-aware feature sets for accurate crowd counting. First, with the help of convolutional neural network (CNN), the original pixel space is mapped onto a dense attribute feature map, where each dimension of the pixel-wise feature indicates the probabilistic strength of a certain semantic class. Then, locality-aware features (LAF) built on the idea of spatial pyramids on neighboring patches are proposed to explore more spatial context and local information. Finally, the traditional VLAD encoding method is extended to a more generalized form in which diverse coefficient weights are taken into consideration. Experimental results validate the effectiveness of our presented method.

研究の動機と目的

• 集団数え上げにおける包括的で手作業で設計された特徴の限界を解消し、セマンティック情報を統合すること。
• 従来の特徴が集団密度における空間的文脈や局所的変動を捉えられない問題を克服すること。
• セマンティック属性と空間的キューを統合することで、集団数え上げのための画像表現の判別力を高めること。
• 複雑で遮蔽がひどい集団シーンの表現学習を強化する、頑健な特徴符号化手法を開発すること。

提案手法

• 事前学習済みのCNNを用いて、各ピクセルの特徴ベクトルがさまざまなセマンティッククラス（例：人、道路、木）に属する確率を符号化する、密度の高いピクセル単位のセマンティック特徴マップを構築する。
• セマンティック特徴マップ内の局所的パッチに空間ピラミッドを適用することで、局所性に配慮した特徴（LAF）を抽出し、空間的文脈と局所的パターンを符号化する。
• 記述子クラスタからの逸脱に学習可能または適応可能な重みを割り当てることで、表現の判別性を向上させる、改良型のVLAD符号化方式であるW-VLADを提案する。
• W-VLADを用いて、局所的なLAF記述子をグローバルな画像表現に集約し、回帰ベースの集団数え上げに用いる。
• 最終的なW-VLAD符号化特徴に回帰ヘッドを学習させ、シーン内の総人数を予測する。
• 標準の集団数え上げベンチマークで、標準的な回帰損失（例：L1またはL2損失）を用いて、パイプライン全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のセマンティック特徴マップは、集団数え上げにおける画像表現の判別力を向上させることができるか？
• RQ2 局所性に配慮した特徴（LAF）は、密集した集団シーンにおける空間的文脈と局所的変動をどれほど効果的に符号化できるか？
• RQ3 VLAD符号化に重み係数を組み込むことで（W-VLAD）、標準のVLADや包括的特徴よりも優れた表現学習が達成できるか？
• RQ4 提案手法は、遮蔽や低視認性などの困難な状況や、多様な集団密度に一般化できるか？

主な発見

• 提案手法はUCSDデータセットでMAE 2.41、MSE 9.12を達成し、最先端の手法を上回るか同等の性能を示した。
• Caltech 10Xデータセットでは、MAE 1.36、MSE 3.50を達成し、極めて遮蔽が強く複雑なシーンでも優れた性能を示した。
• アブレーションスタディの結果、空間ピラミッド符号化を組み合わせたLAFは、包括的特徴（HF）や空間ピラミッドプーリング特徴（SPPF）よりも性能が向上しており、LFV（LAF + VLAD）はHFに比べてMAEを1.1削減した。
• W-VLADは標準のVLADに比べて表現品質を著しく向上させたことが判明し、特徴空間における類似した集団数のクラスタリングが改善されている（図8参照）。
• 本手法は、暗いまたはごみだらけの背景のような困難な状況にも良好に一般化できるが、一貫性のない物体（例：柱）が誤って「人」と分類された場合に誤差が生じる。
• Mallデータセットでも強力な性能を維持しており、過去の手法と同等またはそれ以上の結果を示し、さまざまな集団密度を持つデータセット間での耐障害性を裏付けた。