[論文レビュー] Deep Attention Aware Feature Learning for Person Re-Identification

Yifan Chen, Han Wang+3 more|arXiv (Cornell University)|Mar 1, 2020

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、バックボーンネットワークを変更せずにトレーニング中に包括的（HAB）および局所的（PAB）な注目ブランチを追加することで、軽量で構造に依存しない注目メカニズムを提案する。この手法は、チャネル単位の分離を用いて人物全体（HAB）および身体部位（PAB）に注目することで特徴の識別性を向上させ、推論時間やモデルサイズに変化がない状態で最先端の性能を達成する。

ABSTRACT

Visual attention has proven to be effective in improving the performance of person re-identification. Most existing methods apply visual attention heuristically by learning an additional attention map to re-weight the feature maps for person re-identification. However, this kind of methods inevitably increase the model complexity and inference time. In this paper, we propose to incorporate the attention learning as additional objectives in a person ReID network without changing the original structure, thus maintain the same inference time and model size. Two kinds of attentions have been considered to make the learned feature maps being aware of the person and related body parts respectively. Globally, a holistic attention branch (HAB) makes the feature maps obtained by backbone focus on persons so as to alleviate the influence of background. Locally, a partial attention branch (PAB) makes the extracted features be decoupled into several groups and be separately responsible for different body parts (i.e., keypoints), thus increasing the robustness to pose variation and partial occlusion. These two kinds of attentions are universal and can be incorporated into existing ReID networks. We have tested its performance on two typical networks (TriNet and Bag of Tricks) and observed significant performance improvement on five widely used datasets.

研究の動機と目的

• モデルの複雑さや推論時間を増加させることなく、注目メカニズムを組み込むことで人物再識別性能を向上させること。
• 背景の雑音、ポーズの変化、部分的隠蔽といった課題を、特徴マップにおける暗黙の注目学習によって解決すること。
• 追加のネットワークブランチや層を追加するのではなく、トレーニング中の追加の監督信号を用いて注目学習を可能にすること。
• 異なる身体部位のための特徴の分離を実現するためのチャネル単位の注目を検討し、隠蔽やポーズ変化に対してより頑健になるようにすること。
• アーキテクチャの変更なしに、さまざまなバックボーンネットワークやベンチマークにおいて一般化性能を検証すること。

提案手法

• 人物マスクを予測することで、バックボーンが人物に注目するよう監督する包括的注目ブランチ（HAB）を導入し、背景の干渉を低減する。
• 共有のデコンボリューションデコーダーを用いてキーポイントのヒートマップを予測する部分的注目ブランチ（PAB）を提案し、異なる身体部位のためのチャネル単位の特徴分離を強制する。
• PABで共有重みのデコンボリューション層を採用することで、デコーダーが特定の身体部位に偏らないようにし、各チャネルグループごとの注目特化性を維持する。
• 1×1畳み込み層を用いて特徴チャネルをグループ化し、特定の身体部位に割り当てる。アブレーション実験では、出力の注目パターンは1×1畳み込み層ではなく、入力特徴マップによって決定されることを示している。
• HABとPABをベースのReIDネットワークと同時に最適化し、アーキテクチャの変更ではなく、追加の監督信号のみを用いる。
• 従来のReIDネットワーク（例：TriNet、Bag of Tricks）にこの手法を適用し、構造を変更せずに元の推論速度とモデルサイズを維持する。

実験結果

リサーチクエスチョン

• RQ1 追加のネットワークパラメータを追加したり推論時間を延ばしたりせずに、注目メカニズムをReID特徴学習に効果的に統合できるか。
• RQ2 包括的および部分的注目ブランチを同時に最適化することで、背景の雑音やポーズ変化に対する頑健性がどのように向上するか。
• RQ3 PABによるチャネル単位の特徴分離が、部分的隠蔽下での識別能力をどの程度向上させるか。
• RQ4 PABで共有デコーダーを用いることで、各身体部位ごとに独立したデコーダーを用いる場合と比較して、注目特化性をより良く維持できるか。
• RQ5 1×1畳み込み層のシャッフル実験は、注目学習における特徴マップと1×1畳み込み層の役割をどのように検証するか。

主な発見

• 提案手法は、Market-1501やDukeMTMC-reIDを含む5つの広く使われているReIDベンチマークで最先端の性能を達成し、mAPおよびRank-1の精度向上を実現した。
• Market-1501では、Bag of Tricksバックボーンに統合した場合、85.87%のmAPと96.12%のRank-1精度を達成し、従来手法を上回った。
• PABで共有デコーダーを用いることで、独立したデコーダーに比べてより高い性能を発揮し、キーポイント予測で+3.83%のmAP向上、パーツ画像予測で+2.74%の向上を達成した。
• 1×1畳み込み層のシャッフル実験により、注目パターンは主に入力特徴マップによって決定され、1×1畳み込み層ではなく、有効なチャネル単位の分離が実現されていることが確認された。
• アブレーションスタディの結果、HABとPABの両方が顕著に寄与しており、HABは背景の干渉を低減し、PABは隠蔽やポーズ変化に対する頑健性を向上させた。
• この手法は、元のネットワークと同一の推論時間とモデルサイズを維持しており、リアルタイムデプロイメントに有効であることが証明された。