[論文レビュー] Multi-Scale Body-Part Mask Guided Attention for Person Re-identification

Honglong Cai, Zhiguan Wang+1 more|arXiv (Cornell University)|Apr 24, 2019

Video Surveillance and Tracking Methods参考文献 40被引用数 6

ひとこと要約

本稿では、上半身および下半身のマスクを用いてトレーニング中に注意学習をガイドするマルチスケールボディパーツマスクガイドドアテンションネットワーク（MMGA）を提案する。これにより、顕著なボディパーツの正確な局所化が可能になり、背景のゴミダミングやポーズの変化からの干渉が低減される。本手法は、推論時にはマスクを必要とせず、Market1501で95.0%のrank-1および87.2%のmAP、DukeMTMC-reIDで89.5%のrank-1および78.1%のmAPを達成し、最先端の性能を発揮する。これは、アテンションベースの先行手法を上回るものであり、マスクはトレーニング時でのみ必要となる。

ABSTRACT

Person re-identification becomes a more and more important task due to its wide applications. In practice, person re-identification still remains challenging due to the variation of person pose, different lighting, occlusion, misalignment, background clutter, etc. In this paper, we propose a multi-scale body-part mask guided attention network (MMGA), which jointly learns whole-body and part body attention to help extract global and local features simultaneously. In MMGA, body-part masks are used to guide the training of corresponding attention. Experiments show that our proposed method can reduce the negative influence of variation of person pose, misalignment and background clutter. Our method achieves rank-1/mAP of 95.0%/87.2% on the Market1501 dataset, 89.5%/78.1% on the DukeMTMC-reID dataset, outperforming current state-of-the-art methods.

研究の動機と目的

• ポーズの変化、隠蔽、背景のゴミダミング、アライメントのずれといった人物再識別における課題に対処すること。
• アテンション機構を用いてグローバルおよびローカルの判別的特徴を統合的に捉えることで、特徴学習を向上させること。
• トレーニング中にボディパーツマスクを用いてアテンションをガイドすることで、背景領域への依存度を低減すること。
• 推論時にマスクを必要としないため、推論効率を維持すること。
• マルチスケールでパーツに特化したマスクの有効性を検証すること。

提案手法

• 本手法は、全身、上半身、下半身のマスクを用いて対応するアテンションモジュールのトレーニングをガイドするマルチスケールボディパーツマスクガイドドアテンションネットワーク（MMGA）を導入する。
• 上半身および下半身のマスクは、全身マスクを中央線で分割することで生成され、パーツに特化したアテンション学習が可能になる。
• アテンションマップは、これらのマスクからの監督信号を用いて最適化され、ネットワークが顕著なボディ領域に注目し、背景ノイズを抑制するようにガイドされる。
• アテンション機構はトレーニング時のみに適用され、推論時にはマスク入力を必要とせず、効率的なモデルデプロイメントが可能になる。
• グローバルおよびパーツベースのアテンションヘッドを統合したネットワークアーキテクチャは、マスクガイドド監督のもとで訓練され、特徴の判別力を向上させる。
• 本手法は標準的な事前学習済みResNetバックボーンと互換性があり、先行研究で見られたアーキテクチャの不整合問題を回避する。

Figure 1: Examples of challenges in person re-identification and how our attention mechanism can handle the challenges. (a-b) occlusions, (c-d) inaccurate bounding-box detection, (e-f) variation of pose. The second to forth images in each group are the global attention map in original image, upper-b

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのボディパーツマスクは、人物再識別におけるアテンションベースの特徴学習を改善できるか？
• RQ2 パーツに特化したマスクガイドによって、背景のゴミダミングやポーズの変化の悪影響を低減できるか？
• RQ3 全身マスクのみで訓練されたアテンションネットワークと比較して、パーツマスクで訓練されたネットワークはより高い性能を達成できるか？
• RQ4 マスクガイドドアテンションを用いる場合でも、高い推論効率を維持できるか？
• RQ5 マスクガイドドアテンションの性能は、最先端の再識別モデルと比較して優れているか？

主な発見

• MMGAはMarket1501データセットで95.0%のrank-1および87.2%のmAPを達成し、現在の最先端手法MGNをmAPで+0.3%上回る。
• DukeMTMC-reIDでは、MMGAは89.5%のrank-1および78.1%のmAPを達成し、MGNをrank-1で+0.8%上回り、mAPでは同等の性能を示す。
• アブレーションスタディの結果、上半身および下半身のマスクを用いることで、全身マスクベースライン（WMGA）と比較してmAPが+0.7%、rank-1が+0.8%向上する。
• 分割マスクベースライン（DMGA）と比較すると、MMGAはMarket1501でmAPが-0.6%、DukeMTMC-reIDでmAPが-0.9%改善し、意味的ボディパーツマスクの優位性を示す。
• 誤ったバウンディングボックスや重度の隠蔽がある画像に対しても、定量的結果で高い精度を維持しており、質的結果では困難なクエリに対して正しく上位5件の検索が実現されている。
• MGNのように重複する3つのResNet50ブランチを用い、重み共有を行わないモデルと比較して、MMGAはより効率的でありながら最先端の性能を達成している。

Figure 2: Split mask from the middle-line may suffer misalignment problem. The first row shows the original images, the second row shows whole-body masks. The left pair of the third row is the result of divide whole-body mask into upper-half part and bottom-half part according to the middle line. Th