[論文レビュー] ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language

Zhe Wang, Zhiyuan Fang+2 more|arXiv (Cornell University)|May 15, 2020

Video Surveillance and Tracking Methods参考文献 62被引用数 21

ひとこと要約

ViTAAは、セグメンテーション監視と対照学習を用いた属性に特化した特徴学習により、自然言語による人物検索のための視覚的・言語的属性の整合性を高めるフレームワークを提案する。CUHK-PEDESで最先端の性能を達成し、上半身の黒い服の検索で99.2% R@1を記録し、微細なクロスモodal整合性が優れていることを示している。

ABSTRACT

Person search by natural language aims at retrieving a specific person in a large-scale image pool that matches the given textual descriptions. While most of the current methods treat the task as a holistic visual and textual feature matching one, we approach it from an attribute-aligning perspective that allows grounding specific attribute phrases to the corresponding visual regions. We achieve success as well as the performance boosting by a robust feature learning that the referred identity can be accurately bundled by multiple attribute visual cues. To be concrete, our Visual-Textual Attribute Alignment model (dubbed as ViTAA) learns to disentangle the feature space of a person into subspaces corresponding to attributes using a light auxiliary attribute segmentation computing branch. It then aligns these visual features with the textual attributes parsed from the sentences by using a novel contrastive learning loss. Upon that, we validate our ViTAA framework through extensive experiments on tasks of person search by natural language and by attribute-phrase queries, on which our system achieves state-of-the-art performances. Code will be publicly available upon publication.

研究の動機と目的

• 人物検索における包括的マッチングの限界、すなわち『白いシャツ対黒いシャツ』のような微細な属性差を区別できない点を是正すること。
• 自然言語クエリ内の対応する語句と視覚的属性（例：衣類の色）の間で、微細なマッチングを実現すること。
• 遮蔽、視点の変化、ごみだらけの背景といった困難な状況下でも、分離された属性特徴を活用することで、人物検索のロバスト性を向上させること。
• メトリクス学習における収束問題を克服するため、情報量が多く、アイデンティティが異なる正例ペairsをマイニングする代替正例サンプリング戦略を導入すること。

提案手法

• インスタンスレベルのセグメンテーションアノテーションに従って、各属性ごとに分離された視覚的特徴を学習できる、軽量な補助セグメンテーションヘッドを備えたマルチブランチネットワークを導入する。
• 汎用的な自然言語解析器を用いてクエリから属性語句を抽出し、文法的複雑さを低減するとともに、識別的な手がかりを分離する。
• 視覚的特徴とそれに対応する言語的語句を共通の埋め込み空間内で対照学習損失により整合させる。
• 異なるアイデンティティ間で多様で情報量の多い正例ペアをマイニングするK-再帰的代替正例サンプリング法を提案し、学習を豊かにし、収束を安定化させる。
• 視覚的および言語的属性が属性レベルで統合された埋め込み空間を用いることで、全体的な画像-テキスト類似度を超えた微細なマッチングを可能にする。
• 局所ブランチで蒸留された人物パーサーの知識を活用し、特徴の特異性とクロスモーダル整合性の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴と言語的特徴の属性レベルの整合性は、微細な属性差を持つ複雑なクエリ下で人物検索性能を向上させることができるか？
• RQ2 セグメンテーション監視による分離された属性特徴の学習は、人物検索におけるクロスモーダルマッチングのロバスト性をどのように向上させるか？
• RQ3 代替正例サンプリングは、視覚的・言語的整合性のためのメトリクス学習における学習安定性と性能をどの程度向上させるか？
• RQ4 自然言語クエリで学習したモデルは、微調整なしにゼロショット属性検索タスクに一般化可能か？
• RQ5 属性固有の整合性は、包括的マッチングと比較して、より解釈可能で信頼性の高い検索結果をもたらすか？

主な発見

• ViTAAは、CUHK-PEDESベンチマークで最先端の性能を達成し、自然言語による人物検索において、先行手法を上回った。
• 属性検索タスクにおいて、Market-1501の「upblack」属性で99.2% R@1を達成し、視覚的および言語的属性の強力な整合性を示した。
• DukeMTMCでは「upwhite」と「upred」属性で100.0% R@1を達成し、微細な属性マッチングにおける高い正確性を示した。
• 代替正例サンプリング戦略における最適なKは8であり、それ以上の値は誤った正例の含むため性能を低下させる。
• 定性的な結果から、失敗事例でさえも、モデルが検索画像にクエリの属性を正しく捉えていることが示され、属性の根拠付けの堅牢性を示している。
• 除去実験により、セグメンテーション監視と対照学習の使用が性能を顕著に向上させることを確認し、設計選択の妥当性を裏付けた。