[論文レビュー] Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval

Ding Jiang, Mang Ye|arXiv (Cornell University)|Mar 22, 2023

Video Surveillance and Tracking Methods被引用数 15

ひとこと要約

IRRA は、マスク化された言語モデリングと類似度分布一致損失を用いた暗黙のクロスモーダル関係推論を導入し、CLIPの初期化を活用して3つのベンチマークで最先端のテキスト対画像の人物検索を達成します。

ABSTRACT

Text-to-image person retrieval aims to identify the target person based on a given textual description query. The primary challenge is to learn the mapping of visual and textual modalities into a common latent space. Prior works have attempted to address this challenge by leveraging separately pre-trained unimodal models to extract visual and textual features. However, these approaches lack the necessary underlying alignment capabilities required to match multimodal data effectively. Besides, these works use prior information to explore explicit part alignments, which may lead to the distortion of intra-modality information. To alleviate these issues, we present IRRA: a cross-modal Implicit Relation Reasoning and Aligning framework that learns relations between local visual-textual tokens and enhances global image-text matching without requiring additional prior supervision. Specifically, we first design an Implicit Relation Reasoning module in a masked language modeling paradigm. This achieves cross-modal interaction by integrating the visual cues into the textual tokens with a cross-modal multimodal interaction encoder. Secondly, to globally align the visual and textual embeddings, Similarity Distribution Matching is proposed to minimize the KL divergence between image-text similarity distributions and the normalized label matching distributions. The proposed method achieves new state-of-the-art results on all three public datasets, with a notable margin of about 3%-9% for Rank-1 accuracy compared to prior methods.

研究の動機と目的

• 明示的な局所アライメントを超えたテキスト対画像の人物検索のための堅牢なクロスモーダル整合性を動機づける。
• 視覚情報とテキスト情報を統合するために MLM を用いる暗黙の関係推論（IRR）モジュールを提案する。
• ハードネガティブの扱いを改善する新しい画像-text 類似度分布一致（SDM）損失を導入する。
• バックボーンを初期化するために CLIP のフルプリトレーニングを活用し、クロスモーダル知識をファインチューニングタスクへ伝達する。
• エンドツーエンド訓練により複数の公開データセットで性能の向上を実証する。

提案手法

• CLIP から初期化されたデュアルエンコーダーブ backbone を使用する（画像エンコーダ: CLIP-ViT; テキストエンコーダ: CLIP テキストトランスフォーマー）。
• 視覚表現とマスク済みテキスト表現をマルチモーダル相互作用エンコーダで統合する暗黙の関係推論（IRR）モジュールを導入する。
• 下流のファインチューニング設定で Masked Language Modeling (MLM) を適用し、クロスモーダルの微細な関係を学習する。
• 画像-テキストの類似度分布とグラウンドトゥルーのラベル分布との間の KL 発散を最小化する類似度分布一致（SDM）損失を提案する。
• IRR、SDM、アイデンティティ（ID）損失をエンドツーエンドの目的関数として組み合わせ、グローバルな画像-テキスト埋め込みを最適化する。
• 推論時には効率のために単一のグローバルな画像-テキスト類似度スコアを採用する。

実験結果

リサーチクエスチョン

• RQ1 MLM によって学習された暗黙のクロスモーダル局所関係は、明示的な局所部分監視なしでグローバルな画像-テキスト整合性を改善できますか？
• RQ2 分布ベースのクロスモーダル損失（SDM）は、従来の CMPM/InfoNCE ベースの損失よりハードネガティブの処理に適していますか？
• RQ3 テキスト対画像の人物検索のファインチューニングにおける CLIP ベースの初期化はどれくらい効果的ですか？
• RQ4 提案されたマルチモーダル相互作用エンコーダがクロスモーダル融合の効率と性能に与える影響はどの程度ですか？
• RQ5 IRR および SDM コンポーネントはテキスト対画像の人物検索のために複数の公開データセット全体で一般化しますか？

主な発見

• IRRA は CUHK-PEDES、ICFG-PEDES、RSTPReid で Rank-1、Rank-5、Rank-10 などの関連指標で最先端の結果を達成します。
• IRR は MLM で強化されたクロスモーダル相互作用を通じたグローバルな画像-テキスト一致を改善し、ベースラインに対して一貫した性能向上をもたらします。
• SDM は Rank-1 精度を大幅に向上させ（CMPM/C および InfoNCE ベースラインを特に上回る）、ハードネガティブの識別力を高めます。
• 全 CLIP を初期化に用い、エンドツーエンドのファインチューニングを行うと、3つのデータセットすべてで既存手法より著しい向上を得られます。
• IRRA は推論時に単一のグローバル類似度スコアを維持し、局所埋め込みアプローチに比べて計算効率が高いです。