[論文レビュー] Learning a Semantically Discriminative Joint Space for Attribute Based Person Re-identification.

Zhou Yin, Wei‐Shi Zheng+4 more|arXiv (Cornell University)|Dec 5, 2017

Video Surveillance and Tracking Methods被引用数 2

ひとこと要約

本稿では、画像と属性モダリティ間のクロスモダリティマッチングを可能にする、属性ベースの人物再識別のための新規な共同空間学習フレームワークを提案する。属性誘導型アテンション機構と意味的整合性のある敵対的戦略を統合することで、意味的に整合された表現を学習し、3つの属性ベースのRe-IDデータセットで最先端の性能を達成する。

ABSTRACT

While attributes have been widely used for person re-identification (Re-ID) which aims at matching the same person images across disjoint camera views, they are used either as extra features or for performing multi-task learning to assist the image-image matching task. However, how to find a set of person images according to a given attribute description, which is very practical in many surveillance applications, remains a rarely investigated cross-modality matching problem in person Re-ID. In this work, we present this challenge and formulate this task as a joint space learning problem. By imposing an attribute-guided attention mechanism for images and a semantic consistent adversary strategy for attributes, each modality, i.e., images and attributes, successfully learns semantically correlated concepts under the guidance of the other. We conducted extensive experiments on three attribute datasets and demonstrated that the proposed joint space learning method is so far the most effective method for the attribute-image cross-modality person Re-ID problem.

研究の動機と目的

• 監視応用における、属性記述に基づく人物画像の検索という未だ十分に検討されていないクロスモダリティマッチング問題に対処すること。
• 画像と属性が相互に監視することで、共通の意味的空間を学習し、それらを意味的に整合させる。
• 属性を補助特徴量やマルチタスク学習のためのものとして使うのではなく、属性ベースの人物再識別の効果を高めること。
• ゼロショット属性ベースの画像検索を可能にする共同表現学習フレームワークを開発すること。

提案手法

• 特徴学習中に、与えられた属性に関連する画像領域に動的に注目することができる属性誘導型アテンション機構を導入する。
• 画像と属性の潜在表現を共通の共同空間に意味的整合性を持って整列させるために、意味的整合性のある敵対的戦略を採用する。
• 画像と属性の埋め込みを同時に学習できる二重ストリームネットワークアーキテクチャを用い、クロスモダリティ一貫性損失を適用する。
• 敵対的訓練を適用して、属性埋め込みが対応する画像特徴と意味的に整合していることを保証する。
• 対照的損失と敵対的損失の組み合わせを最適化することで、識別力を向上させる共同空間を学習する。

実験結果

リサーチクエスチョン

• RQ1 人物画像と属性記述の間で、効果的なクロスモダリティマッチングを可能にする共同埋め込み空間を学習できるか？
• RQ2 属性誘導型アテンションは、画像特徴と意味的属性の間の整列をどのように改善するか？
• RQ3 意味的整合性のある敵対的戦略は、共同表現の識別能力をどの程度向上させるか？
• RQ4 本手法は、従来の属性ベースのRe-IDアプローチと比較して、検索精度においてどのように優れているか？

主な発見

• 提案手法は、3つのベンチマーク属性ベースの人物再識別データセットで最先端の性能を達成した。
• 属性誘導型アテンションの統合により、属性マッチングに必要な画像領域に注目する能力が著しく向上した。
• 意味的整合性のある敵対的訓練戦略により、画像と属性の埋め込み間の整列が強化され、一般化性能が向上した。
• 本手法は、属性を補助信号として扱う従来手法よりも優れたゼロショット属性ベースの画像検索を実現した。