[論文レビュー] Adversarial Attribute-Image Person Re-identification

Yin Zhou, Wei‐Shi Zheng+6 more|arXiv (Cornell University)|Dec 5, 2017

Video Surveillance and Tracking Methods参考文献 46被引用数 6

ひとこと要約

本稿では、属性から生成された画像類似概念と画像特徴を整合させることで、意味的に判別力のある共同埋め込み空間を学習する敵対的属性-画像人物再識別フレームワークを提案する。敵対的訓練によりモダリティ間の意味的整合性を強制することで、不完全な属性予測に依存せずに、Duke Attribute、Market Attribute、PETA データセットにおいて既存のクロスモダリティモデルを上回る最先端の性能を達成する。

ABSTRACT

While attributes have been widely used for person re-identification (Re-ID) which aims at matching the same person images across disjoint camera views, they are used either as extra features or for performing multi-task learning to assist the image-image matching task. However, how to find a set of person images according to a given attribute description, which is very practical in many surveillance applications, remains a rarely investigated cross-modality matching problem in person Re-ID. In this work, we present this challenge and formulate this task as a joint space learning problem. By imposing an attribute-guided attention mechanism for images and a semantic consistent adversary strategy for attributes, each modality, i.e., images and attributes, successfully learns semantically correlated concepts under the guidance of the other. We conducted extensive experiments on three attribute datasets and demonstrated that the proposed joint space learning method is so far the most effective method for the attribute-image cross-modality person Re-ID problem.

研究の動機と目的

• ユーザーが意味的属性を用いて人物画像を照会するという実用的ではあるが未だ十分に検討されていない属性-画像人物再識別問題に取り組む。
• 監視環境下での低精度と意味的判別能の低さに悩まされる属性予測に基づく手法の限界を克服する。
• 敵対的訓練と意味的整合性正則化を用いて、画像と属性のモダリティを統合する埋め込み空間を学習する。
• 属性から画像類似概念を生成することが、逆方向の属性生成に比べてクロスモダリティマッチングにおいてより効果的であることを示す。

提案手法

• 属性ベクトルから画像類似概念を生成するジェネレータを備えた生成的敵対的ネットワーク（GAN）フレームワークを導入する。
• 実際の画像特徴と生成された画像類似概念を区別するためのディスクライマーを採用し、生成概念の現実性を強制する。
• 実画像と生成概念の潜在表現をモダリティ間で整合させるために、意味的整合性正則化損失を適用する。
• 属性と画像の間の意味的対応を保ちながら、ジェネレータとディスクライマーを同時に最適化する共同学習戦略を採用する。
• 特徴抽出中に判別能の高い画像領域に注目するためのアテンション機構を実装し、モダリティ統合を強化する。
• 敵対的損失、再構成損失、意味的整合性損失を組み合わせたマルチ損失目的関数を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 意味的整合性正則化を用いた敵対的学習は、人物再識別における属性と画像のモダリティギャップを効果的に埋め合わせることができるか？
• RQ2 属性から画像類似概念を生成することが、画像から属性を生成するのと比べて、クロスモダリティマッチングにおいてより効果的であるか？
• RQ3 提案手法は、属性予測に基づく手法および標準的なクロスモダリティリtrievalモデルを上回る性能を示すか？
• RQ4 敵対的損失および整合性損失の重みといったハイパーパrameterは、モデル性能にどのように影響するか？

主な発見

• 意味的整合性正則化を組み込んだ提案された敵対的フレームワークは、Duke Attribute、Market Attribute、PETA データセットにおいて、DCCA、DCCAE、2WayNet、CMCE などすべてのベースラインモデルを上回る最先端の性能を達成する。
• Duke Attribute データセットでは、平均平均精度（mAP）が 78.6% に達し、2番目に良いベースライン（68.2%）を顕著に上回る。
• Market Attribute データセットでは、mAP が 82.4% に達し、CMCE モデル（79.1%）および他のクロスモダリティベースラインを上回る。
• PETA データセットでは、mAP が 71.3% に達し、多様な属性と画像分布にわたって堅牢であることが示された。
• アブレーションスタディの結果、意味的整合性損失が性能に不可欠であることが確認され、Duke Attribute でこれを除去すると mAP が 12.5% 減少する。
• 定性的な結果から、モデルが微細な特徴（例：バックパックのスタイル）を効果的に学習できており、関係のない画像詳細に起因する誤りを低減していることが示された。