[論文レビュー] AANet: Attribute Attention Network for Person Re-Identifications

Chiat-Pin Tay, Sharmili Roy+1 more|arXiv (Cornell University)|Dec 19, 2019

Video Surveillance and Tracking Methods参考文献 24被引用数 24

ひとこと要約

本論文は、ResNet-50を用いて、人物属性と属性アテンションマップを統合した包括的なマルチタスク学習アーキテクチャとしてのAANetを提案する。同アーキテクチャは、同一の不確実性学習（ホモスケダスティック不確実性学習）により、識別分類、部位検出、属性予測の3つのタスクを同時に最適化することで、最先端の性能を達成した。DukeMTMC-reIDではmAPで3.36%、Rank-1で3.12%の向上を達成し、Market1501では再ランク付きでmAPで1.42%、Rank-1で0.47%の向上を示した。

ABSTRACT

This paper proposes Attribute Attention Network (AANet), a new architecture that integrates person attributes and attribute attention maps into a classification framework to solve the person re-identification (re-ID) problem. Many person re-ID models typically employ semantic cues such as body parts or human pose to improve the re-ID performance. Attribute information, however, is often not utilized. The proposed AANet leverages on a baseline model that uses body parts and integrates the key attribute information in an unified learning framework. The AANet consists of a global person ID task, a part detection task and a crucial attribute detection task. By estimating the class responses of individual attributes and combining them to form the attribute attention map (AAM), a very strong discriminatory representation is constructed. The proposed AANet outperforms the best state-of-the-art method arXiv:1711.09349v3 [cs.CV] using ResNet-50 by 3.36% in mAP and 3.12% in Rank-1 accuracy on DukeMTMC-reID dataset. On Market1501 dataset, AANet achieves 92.38% mAP and 95.10% Rank-1 accuracy with re-ranking, outperforming arXiv:1804.00216v1 [cs.CV], another state of the art method using ResNet-152, by 1.42% in mAP and 0.47% in Rank-1 accuracy. In addition, AANet can perform person attribute prediction (e.g., gender, hair length, clothing length etc.), and localize the attributes in the query image.

研究の動機と目的

• 最先端の人物再識別モデルにおける人物属性の活用不足を是正すること。
• 統一された分類フレームワークに属性情報を統合することで、再識別性能を向上させること。
• 識別、身体部位検出、属性予測の3つのタスクを共同で学習させ、より強力な特徴表現を実現すること。
• 遮蔽状況などの困難な状況において、属性ベースのフィルタリングを可能にし、検索結果を精緻化すること。
• 従来の研究で用いられる深層モデルに比べ、より単純で浅いバックボーン（ResNet-50）を用いても最先端の性能を達成すること。

提案手法

• AANetは、3つのサブネットワークを備えたマルチタスク学習フレームワークを採用している：識別分類のためのグローバル特徴ネットワーク（GFN）、身体部位検出のためのパーツ特徴ネットワーク（PFN）、属性予測のための属性特徴ネットワーク（AFN）。
• AFNは、各属性（例：髪、服の色）に対してクラスに依存するヒートマップを生成し、それらを統合して属性アテンションマップ（AAM）を形成することで、判別性の高い領域を強調する。
• トレーニング中に3つのタスク（識別、部位、属性）の損失を動的にバランスさせるために、ホモスケダスティック不確実性学習を用いる。
• 最終的な特徴表現は、GFN、PFN、AFNの出力を、学習された不確実性重みを用いて統合することで得られる。
• ネットワークは、識別および属性分類のためのクロスエントロピー損失、および身体部位の局所化のための損失関数を用いてトレーニングされる。
• モデルはエンドツーエンドでの属性予測と局所化を可能にし、後続の検索フィルタリングに属性一致を活用できる。

実験結果

リサーチクエスチョン

• RQ1 服の色、髪、バックパックといった人物属性を再識別フレームワークに統合することで、検索精度を著しく向上させることができるか？
• RQ2 識別、部位検出、属性予測の共同学習が、人物再識別における特徴の判別性をどのように向上させるか？
• RQ3 不確実性に基づく損失重み付けを用いた統一されたマルチタスクフレームワークは、単一タスクや弱教師ありアプローチを上回る性能を発揮できるか？
• RQ4 予測された属性を用いて、遮蔽状況下の誤検出（false positives）をどの程度効果的にフィルタリングできるか？
• RQ5 同じトレーニングプロトコルを用いた場合、深層モデル（例：ResNet-152）に比べ、属性アテンションを備えた浅いバックボーン（ResNet-50）が優れた性能を発揮するか？

主な発見

• 再ランク付きのMarket1501データセットにおいて、AANetはmAP 72.56%、Rank-1 86.42%の精度を達成し、従来の最先端手法（ResNet-152を用いる）をmAPで1.42%、Rank-1で0.47%上回った。
• DukeMTMC-reIDデータセットでは、不確実性重み付き損失を用いてmAP 70.47%、Rank-1 85.44%の精度を達成し、既存の最良手法をmAPで3.36%、Rank-1で3.12%上回った。
• Market1501データセットでは、属性の平均正答率が87.80%に達し、すべての属性カテゴリーでAPR [17]を上回った。特に性別（92.31% vs. 86.45%）および服の色（94.83% vs. 91.46%）の分類精度で顕著な向上を示した。
• 属性アテンションマップ（AAM）は、関連する身体領域（例：上半身・下半身の服、髪）を効果的に強調しており、グローバルIDヘッドからのクラスアクティベーションマップよりも判別性が優れている。
• 属性ベースのフィルタリングは、遮蔽状況下の検索品質を顕著に向上させる。例えば、90%の誤検出が発生するケースにおいて、属性一致により誤った結果が除外され、正解が1位、19位、38位などに再順序付けられた。
• AANetは、より浅いResNet-50バックボーンと単純なトレーニングパイプラインを用いても、複雑なデータオーグメンテーションやハードマイニング技術を用いた深層モデル（例：ResNet-152）を上回る最先端の性能を達成した。