[論文レビュー] Person Re-identification Using Visual Attention

Alireza Rahimpour, Liu Liu+3 more|arXiv (Cornell University)|Jul 23, 2017

Video Surveillance and Tracking Methods参考文献 41被引用数 5

ひとこと要約

本論文では、人物再識別を目的としたCNNアーキテクチャに勾配に基づくアテンションメカニズムを提案し、顔、靴、バッグなどの判別性の高い画像領域に注目できるようにすると同時に、残りの領域は低解像度で処理する。この手法は、Market1501、CUHK01、CUHK03で最先端の性能を達成し、86.67%のRank-1精度と75.32%のmAPを達成した。同時に、アテンションマップを通じて計算効率とモデルの解釈可能性が向上した。

ABSTRACT

Despite recent attempts for solving the person re-identification problem, it remains a challenging task since a person's appearance can vary significantly when large variations in view angle, human pose, and illumination are involved. In this paper, we propose a novel approach based on using a gradient-based attention mechanism in deep convolution neural network for solving the person re-identification problem. Our model learns to focus selectively on parts of the input image for which the networks' output is most sensitive to and processes them with high resolution while perceiving the surrounding image in low resolution. Extensive comparative evaluations demonstrate that the proposed method outperforms state-of-the-art approaches on the challenging CUHK01, CUHK03, and Market 1501 datasets.

研究の動機と目的

• ポーズ、視点、照明の大きな変動に起因する人物再識別の課題に対処すること。
• 深層ネットワークが最も情報の多い画像領域に選択的に注目できるようにすることで、マッチング精度を向上させること。
• RNN や強化学習を回避する計算効率が良く、解釈可能なアテンションメカニズムを開発すること。
• 局所的な高解像度特徴抽出を用いたトリプレット損失フレームワークにより、既存手法を上回ること。

提案手法

• モデルはグローバルで低解像度のネットワークを用い、勾配に基づくアテンションマップを生成することで、ネットワーク出力に対して最も関連性の高い顕著な画像領域を特定する。
• 高解像度特徴抽出は、注目された領域にのみ適用され、残りの領域は低解像度で処理されるため、計算コストが削減される。
• ネットワークの最適化にはトリプレット損失が用いられ、同一IDの埋め込み間の距離を最小化し、異なるID間の距離を最大化する。
• アテンションメカニズムは微分可能であり、強化学習や複数回のグリムプスを必要とせず、エンドツーエンドで訓練される。
• 最終的な特徴表現は、注目された領域からの局所的特徴とグローバル特徴を組み合わせることで、判別力を強化する。
• モデルは解釈可能であり、顔、靴、バッグなどの主要な判別的部位が視覚的にアテンションマップで強調されている。

実験結果

リサーチクエスチョン

• RQ1 勾配に基づくアテンションメカニズムは、判別性の高いボディパーツに注目することで、人物再識別精度を向上させることができるか？
• RQ2 RNNベースや強化学習ベースのアテンションと比較して、提案手法のトレーニング効率と性能はどのように異なるか？
• RQ3 局所的な高解像度処理は、計算コストを削減しつつ特徴品質を向上させることができるか？
• RQ4 アテンションマップは、人物再識別におけるモデルの解釈可能性をどの程度向上させることができるか？

主な発見

• 提案手法は、Market1501データセットで86.67%のRank-1精度を達成し、すべての先行最先端手法を上回った。
• CUHK01では89.90%のRank-1精度を達成し、前例の手法を著しく上回った。
• CUHK03では88.80%のRank-1精度を達成し、データセット間での強い汎化性能を示した。
• Market1501では75.32%のmAPを達成し、PDC（63.41%）やJLML（65.50%）といった先行手法と比較して顕著な向上を示した。
• 推論時に注目領域にのみ高解像度処理を制限することで、2.5倍の高速化が達成された。
• アテンションマップの可視化により、モデルが背景のノイズを抑制しながら、顔、靴、バッグといった判別的部位を正しく注目していることが確認された。