[論文レビュー] CA3Net: Contextual-Attentional Attribute-Appearance Network for Person Re-Identification

Jiawei Liu, Zheng-Jun Zha+3 more|arXiv (Cornell University)|Nov 19, 2018

Video Surveillance and Tracking Methods参考文献 40被引用数 20

ひとこと要約

CA3Netは、人物再識別における文脈的注意特徴と空間的に注意を向けた外見特徴を同時に学習する画期的なマルチタスク深層学習フレームワークを提案する。文脈的意味的コンテキストと各属性ごとの空間的注目をモデル化するためのAttention-LSTMモジュールを統合するとともに、全身および局所的なボディパーツ特徴を抽出する外見ネットワークを組み合わせることで、最先端の性能を達成し、DukeMTMC-reIDでは84.6%のrank-1精度、Market-1501では83.2%を達成した。

ABSTRACT

Person re-identification aims to identify the same pedestrian across non-overlapping camera views. Deep learning techniques have been applied for person re-identification recently, towards learning representation of pedestrian appearance. This paper presents a novel Contextual-Attentional Attribute-Appearance Network (CA3Net) for person re-identification. The CA3Net simultaneously exploits the complementarity between semantic attributes and visual appearance, the semantic context among attributes, visual attention on attributes as well as spatial dependencies among body parts, leading to discriminative and robust pedestrian representation. Specifically, an attribute network within CA3Net is designed with an Attention-LSTM module. It concentrates the network on latent image regions related to each attribute as well as exploits the semantic context among attributes by a LSTM module. An appearance network is developed to learn appearance features from the full body, horizontal and vertical body parts of pedestrians with spatial dependencies among body parts. The CA3Net jointly learns the attribute and appearance features in a multi-task learning manner, generating comprehensive representation of pedestrians. Extensive experiments on two challenging benchmarks, i.e., Market-1501 and DukeMTMC-reID datasets, have demonstrated the effectiveness of the proposed approach.

研究の動機と目的

• 遮蔽、視点の変化、照明の変化といった困難な条件下で外見特徴のみに依存する手法の限界を解消すること。
• クラス内での外見のばらつきが大きい状況でも、属性を補助的かつ強力な手がかりとして活用し、再識別精度を向上させること。
• 属性間の意味的コンテキストをモデル化し、各属性に該当する画像領域に注目することで、属性表現の質を向上させること。
• 局所的な外見特徴の学習によりボディパーツ間の空間的依存関係を捉え、全体的な歩行者表現を向上させること。
• マルチタスク学習により外見特徴と属性特徴を同時に最適化し、包括的で判別力のある歩行者埋め込みを実現すること。

提案手法

• 属性間の意味的コンテキストをモデル化し、各属性ごとに関連する画像領域に注目するAttention-LSTMモジュールを備えた属性ネットワークを備えた二重ブランチネットワークを設計する。
• 全身、水平ストライプ、垂直ストライプの各領域から特徴を抽出することで、ボディパーツ間の空間的依存関係を捉える外見ネットワークを実装する。
• 属性ブランチと外見ブランチを同時に学習するマルチタスク学習の目的関数を用い、特徴の補完性と一般化性能の向上を実現する。
• Attention-LSTM内に注目メカニズムを統合し、各属性に関連する判別性の高い画像領域に動的に注目することで、局所化と表現の質を向上させる。
• 統合された特徴に対してグローバル平均プーリングと度量学習（例：トリプレット損失）を適用し、人物再識別を目的としたエンドツーエンド学習を実現する。
• グローバルおよび局所的な外見特徴を統合することで、空間的コンテキストを豊かにし、特定のボディパーツへの過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 困難な現実世界の条件下でも、意味的属性と視覚的外見特徴を同時に学習することで、人物再識別性能が向上するか？
• RQ2 属性間の意味的コンテキストをモデル化することで、人物再識別における属性認識のロバスト性と精度はどのように向上するか？
• RQ3 属性に関連する画像領域に視覚的注目を向けることで、属性表現の質はどの程度向上するか？
• RQ4 局所的な外見特徴の学習によりボディパーツ間の空間的依存関係を組み込むことで、全体的な表現の判別力は向上するか？
• RQ5 外見特徴と属性特徴を同時にマルチタスク学習することで、独立して学習する場合よりも一般化性能が向上するか？

主な発見

• CA3NetはDukeMTMC-reIDデータセットで84.6%のrank-1精度および70.2%のmAPを達成し、最先端の手法を上回った。
• Market-1501データセットでは83.2%のrank-1精度および71.5%のmAPを達成し、ベンチマーク間での強力な一般化性能を示した。
• アブレーションスタディの結果、外見ブランチを削除した場合（CA3Net_w/o App）のrank-1精度は57.1%に低下し、外見特徴の重要性が確認された。
• 注目メカニズムを削除した場合（CA3Net_w/o Att）の性能は80.1%のrank-1に低下し、視覚的注目が属性表現の質を顕著に向上させることを証明した。
• グローバルおよび局所特徴を併用した外見ネットワーク（AppNet）は80.1%のrank-1精度を達成し、グローバル特徴のみ（72.1%）や局所特徴のみ（77.6–79.2%）のモデルを上回った。
• Attention-LSTMモジュールは顕著な貢献を示した：その削除により精度は57.1%から40.3%に低下し、単一のLSTMや注目のみのブロックに置き換えると性能が低下した。これにより、完全なモジュールの有効性が確認された。