[論文レビュー] HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis

Xihui Liu, Haiyu Zhao+6 more|arXiv (Cornell University)|Sep 28, 2017

Video Surveillance and Tracking Methods参考文献 29被引用数 90

ひとこと要約

HydraPlus-Netは多方向性アテンションを導入し、マルチレベル・マルチスケール特徴を学習して歩行者属性認識と人の再識別を改善し、PA-100Kデータセットを導入する。

ABSTRACT

Pedestrian analysis plays a vital role in intelligent video surveillance and is a key component for security-centric computer vision systems. Despite that the convolutional neural networks are remarkable in learning discriminative features from images, the learning of comprehensive features of pedestrians for fine-grained tasks remains an open problem. In this study, we propose a new attention-based deep neural network, named as HydraPlus-Net (HP-net), that multi-directionally feeds the multi-level attention maps to different feature layers. The attentive deep features learned from the proposed HP-net bring unique advantages: (1) the model is capable of capturing multiple attentions from low-level to semantic-level, and (2) it explores the multi-scale selectiveness of attentive features to enrich the final feature representations for a pedestrian image. We demonstrate the effectiveness and generality of the proposed HP-net for pedestrian analysis on two tasks, i.e. pedestrian attribute recognition and person re-identification. Intensive experimental results have been provided to prove that the HP-net outperforms the state-of-the-art methods on various datasets.

研究の動機と目的

• 歩行者分析のためのグローバル表現を超えた頑健な特徴学習を動機づける。
• マルチレベル特徴を融合するための多方向性アテンション（MDA）機構を開発する。
• 注意に導かれた、スケール認識的な表現を用いて細粒度属性と再識別を活用する。
• HP-netの歩行者属性認識と人の再識別データセットでの汎用性を示す。
• 多様な場面を含む新しい大規模歩行者属性データセットPA-100Kを導入する。

提案手法

• Main Net (M-net)とAttentive Feature Net (AF-net)を備えたHydraPlus Network (HP-net)を提案する。
• 3つの多方向性アテンション（MDA）モジュールを組み込み、各モジュールはネットワークブロックからアテンションマップを生成し、それを複数の後続ブロックに適用する。
• 1x1畳み込みを用いてBNとReLUを伴うアテンションマップを生成し、チャネルサイズを固定してL=8とし、特徴マップへ要素ごとのマスキングを適用する。
• 多レベルのアテンション特徴を結合し、グローバル平均プーリングと全結合層を経て最終的なロジットまたは特徴ベクトルを得る。
• HP-netを段階的に訓練する：まずM-netを訓練し、次にAF-netブランチをファインチューニングし、最後にGAP/FC層を訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチレベル・マルチスケールのアテンションは識別的な歩行者特徴学習をどのように改善するのか？
• RQ2 隣接する特徴ブロック間でアテンションマップを適用すること（多方向性）は、従来の単一ブロックのアテンションよりも良い表現を生み出すのか？
• RQ3 HP-netは歩行者属性認識と人の再識別の性能を同時に向上させることができるのか？
• RQ4 多レベルアテンションの多様性と一貫性が認識精度に与える影響はどの程度か？
• RQ5 HP-netは複数の歩行者分析データセットおよび実世界の監視データへ汎用性を示すのか？

主な発見

• HP-netは歩行者属性認識データセット RAP、PETA、および提案されたPA-100Kで最先端の性能を達成した。
• 属性タスクでは、HP-netは特に眼鏡やハンドバッグのような細粒度属性に対して、従来手法より大幅な改善を提供する。
• 人の再識別では、HP-netはCUHK03、VIPeR、Market-1501でそれぞれTop-1精度91.8/56.6/76.9を達成し、いくつかのベースラインを上回り、M-netを3.6/5.0/3.8ポイント改善した。
• 異なるInceptionブロックからの多レベルアテンションは低レベルのテクスチャと高レベルの意味的パターンの両方を捉え、一方で多方向性マスキングは層間の特徴融合を強化する。
• 100,000枚の歩行者画像を598シーンにわたって含む新しいPA-100Kデータセットを導入し、属性認識の大規模で多様なベンチマークを提供する。