[論文レビュー] Semantically Self-Aligned Network for Text-to-Image Part-aware Person Re-identification

Zefeng Ding, Changxing Ding+2 more|arXiv (Cornell University)|Jul 27, 2021

Video Surveillance and Tracking Methods参考文献 63被引用数 79

ひとこと要約

SSAN は、Word Attention Module、マルチビュー非局所関係、および Compound Ranking loss を使用して、テキストから画像への人物 ReID の意味的に整合した部位レベルの視覚特徴とテキスト特徴を自動的に学習し、さらに新しい ICFG-PEDES データセットを追加します。

ABSTRACT

Text-to-image person re-identification (ReID) aims to search for images containing a person of interest using textual descriptions. However, due to the significant modality gap and the large intra-class variance in textual descriptions, text-to-image ReID remains a challenging problem. Accordingly, in this paper, we propose a Semantically Self-Aligned Network (SSAN) to handle the above problems. First, we propose a novel method that automatically extracts semantically aligned part-level features from the two modalities. Second, we design a multi-view non-local network that captures the relationships between body parts, thereby establishing better correspondences between body parts and noun phrases. Third, we introduce a Compound Ranking (CR) loss that makes use of textual descriptions for other images of the same identity to provide extra supervision, thereby effectively reducing the intra-class variance in textual features. Finally, to expedite future research in text-to-image ReID, we build a new database named ICFG-PEDES. Extensive experiments demonstrate that SSAN outperforms state-of-the-art approaches by significant margins. Both the new ICFG-PEDES database and the SSAN code are available at https://github.com/zifyloo/SSAN.

研究の動機と目的

• cross-modal text-to-image ReID の大きなテキスト内クラスばらつきと語義と体の部位の対応の問題を解決する。
• 外部ツールを使わずに、部位レベルのテキスト特徴を視覚領域に自動的に整合させて導出する。
• マルチビュー非局所的相互作用を通じて、名詞句をより適切に一致させるために身体部位間の関係をモデル化する。
• Compound Ranking loss によって他の同一アイデンティティの画像の説明を監視信号として活用し、テキスト内のばらつきを減らす。
• テキストから画像への ReID 研究を進めるために、より挑戦的でアイデンティティ中心のデータセット（ICFG-PEDES）を提供する。

提案手法

• 視覚特徴マップを均等に分割することで部位レベルの視覚特徴を抽出する。
• Bi-LSTM を用いて説明を処理し語の表現を得る。
• Word Attention Module (WAM) を用いて語と部位の関連付けを予測し、部位レベルのテキスト特徴を生成する。
• グローバルブランチで共通空間におけるグローバル視覚特徴とテキスト特徴を整合させるために共通の 1x1 畳込みを適用する。
• Part-specific Feature Learning (PFL) と Part Relation Learning (PRL) を部位ブランチに導入して意味的に整合した部位特徴を取得する。
• Multi-View Non-Local Network (MV-NLN) を用いて、モダリティ間および部位内の関係を捕捉し、部位特徴を洗練させる。
• CR loss を導入して強い監視項と弱い監視項を組み合わせ、同一アイデンティティの他の画像の説明を監視として活用できるような適応マージンを用いる。
• グローバル、PFL、PRL の特徴を用いて ID loss と CR loss の組み合わせで訓練し、推論時には3つのモダリティ類似度 (S_g, S_l, S_n) を合計する。

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への ReID のために、外部テキストツールなしで意味的に自動整合された部位特徴を抽出できるか。
• RQ2 MV-NLN を介した部位間関係のモデリングは、クロスモーダル整合性と検索性能を改善するか。
• RQ3 同一アイデンティティの他画像の説明を活用した compound ranking loss はテキスト内クラスばらつきを減らせるか。
• RQ4 提案された SSAN アーキテクチャは、標準データセットおよび新規導入データセットで既存のテキストから画像への ReID 手法より優れているか。

主な発見

• SSAN は CUHK-PEDES で Rank-1 が 4.58 ポイント、ICFG-PEDES で 3.56 ポイントのベースラインを PFL（部位特徴学習）を追加することで改善する。
• PRL（部位関係学習）の追加により、CUHK-PEDES でさらに 1.33 ポイント、ICFG-PEDES で 0.95 ポイントの改善をもたらす。
• CR loss の導入は、CUHK-PEDES で 1.62 ポイント、ICFG-PEDES で 1.21 ポイントの追加ゲインをもたらす。
• SSAN は CUHK-PEDES で最先端を上回り、Rank-1 精度で ViTAA を 5.4% 上回り、他のランクでも競争力を持つ。
• SSAN は全モデル（Global + PFL + MV-NLN + CR loss）で最も強力な結果を示し、ベースラインおよび従来の部位ベース手法を大きく上回る。
• 著者らは ICFG-PEDES をアイデンティティ中心・細粒度データセットとして公開し、より長いキャプションと挑戦的な画像を提供して今後の研究を支援する。