[論文レビュー] Learning Granularity-Unified Representations for Text-to-Image Person Re-identification

Zhiyin Shao, Xinyu Zhang+4 more|arXiv (Cornell University)|Jul 16, 2022

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本稿では、細分化された視覚的特徴と粗いテキスト的特徴を統一的に整えるために、テキストから画像への人物再識別（ReID）のための、トランスフォーマーに基づくLGURフレームワークを提案する。マルチモodalな共有辞書（MSD）を導入し、異種間の特徴再構築を、異種間のガイドランスを伴って行い、フォアグラウンド中心の最適化を実施。その後、統一された特徴抽出のための共有プロトタイプを用いることで、CUHK-PEDESおよびICFG-PEDESでSOTAを達成し、それぞれ6.58%および6.93%のRank-1精度向上を達成した。

ABSTRACT

Text-to-image person re-identification (ReID) aims to search for pedestrian images of an interested identity via textual descriptions. It is challenging due to both rich intra-modal variations and significant inter-modal gaps. Existing works usually ignore the difference in feature granularity between the two modalities, i.e., the visual features are usually fine-grained while textual features are coarse, which is mainly responsible for the large inter-modal gaps. In this paper, we propose an end-to-end framework based on transformers to learn granularity-unified representations for both modalities, denoted as LGUR. LGUR framework contains two modules: a Dictionary-based Granularity Alignment (DGA) module and a Prototype-based Granularity Unification (PGU) module. In DGA, in order to align the granularities of two modalities, we introduce a Multi-modality Shared Dictionary (MSD) to reconstruct both visual and textual features. Besides, DGA has two important factors, i.e., the cross-modality guidance and the foreground-centric reconstruction, to facilitate the optimization of MSD. In PGU, we adopt a set of shared and learnable prototypes as the queries to extract diverse and semantically aligned features for both modalities in the granularity-unified feature space, which further promotes the ReID performance. Comprehensive experiments show that our LGUR consistently outperforms state-of-the-arts by large margins on both CUHK-PEDES and ICFG-PEDES datasets. Code will be released at https://github.com/ZhiyinShao-H/LGUR.

研究の動機と目的

• 画像における細分化された特徴と、テキストにおける粗い特徴という、異なる特徴の粒度による顕著なモダリティギャップを是正すること。
• 共有で学習可能な辞書とプロトタイプベースのメカニズムを用いて、視覚的特徴とテキスト的特徴の粒度を明示的に統一すること。
• テキスト的特徴を用いて辞書学習をガイドし、フォアグラウンドの歩行者領域に焦点を当てることで、異種間の整合性を向上させること。
• ベンチマークデータセットにおける検索性能を向上させるために、統一された表現をエンド・トゥ・エンドで学習すること。

提案手法

• フレームワークは、トランスフォーマー層を介してマルチモダリティ共有辞書（MSD）を用いて、視覚的特徴とテキスト的特徴の両方を再構築する、辞書ベースの粒度整合モジュール（DGA）を採用する。
• 同じトランスフォーマー層において、一致するテキスト的特徴を値として用いることで、異種間のガイドランスを適用し、視覚的特徴の再構築を実施。これにより、MSDがテキスト的記述の粒度に一致するよう整列される。
• 学習されたフォアグラウンドマスクを適用することで、背景ノイズを抑制するフォアグラウンド中心の再構築戦略を採用。これにより、最適化の安定性と関連性が向上する。
• プロトタイプベースの粒度統一（PGU）モジュールは、両モダリティの統一空間から、多様で意味的に整合した特徴を抽出するために、共有で学習可能なプロトタイプをクエリとして用いる。
• MSDとプロトタイプの両方を共同で最適化することで、エンド・トゥ・エンドの学習が可能となり、同時に粒度の統一と表現学習が実現される。
• 推論時の計算コストを増加させることなく、モダリティギャップを低減するように設計されている。

Figure 1. While textual descriptions on the jackets in the all above images are the same, these jackets do in fact differ in terms of their visual details. This example well reflects the granularity gap between the two modalities, i.e. , the visual information is fine-grained while the textual featu

実験結果

リサーチクエスチョン

• RQ1 テキストから画像へのReIDにおいて、細分化された視覚的特徴と粗いテキスト的特徴の間の粒度ギャップを効果的に統一する方法は何か？
• RQ2 共有で学習可能な辞書は、モダリティ固有の意味を保持しつつ、異種間の表現を統一するために果たす役割は何か？
• RQ3 異種間のガイドランスとフォアグラウンド中心の再構築は、共有辞書の最適化と性能向上に寄与するか？
• RQ4 両モダリティにわたる共有プロトタイプを用いることで、統一表現空間における特徴の多様性と整合性はどのように向上するか？
• RQ5 提案されたLGURフレームワークは、標準ベンチマークで、既存のSOTA手法をどの程度上回るか？

主な発見

• LGURは、CUHK-PEDESデータセットにおいてベースライン比で6.58%の絶対的なRank-1精度向上を達成した。
• ICFG-PEDESデータセットにおいて、LGURはベースライン比で6.93%の絶対的なRank-1精度向上を達成した。
• マルチモダリティ共有辞書（MSD）は、自己注意層や非共有辞書よりも顕著に優れた性能を示し、粒度ギャップを低減する有効性を実証した。
• PGUモジュールにおける共有プロトタイプは、非共有プロトタイプよりも優れた性能を発揮し、異種間のプロトタイプ共有の利点を確認した。
• アブレーションスタディの結果、DGAにおける異種間ガイドランスとフォアグラウンドマスクは、最適なMSD学習と性能を達成するために不可欠であることが判明した。
• 定性的な注目度可視化では、一致する語句-パッチペアが辞書の原子に対して類似した注目度スコアを持つ一方で、不一致ペアはそうではないことが確認され、モデルが粒度を統一できていることを裏付けた。

Figure 2. Overview of the LGUR framework (shown in a), which includes a Dictionary-based Granularity Alignment (DGA) module (shown in b) and a Prototype-based Granularity Unification (PGU) module (shown in c) to achieve feature extraction that is both efficient and granularity-unified. DGA reconstru