[論文レビュー] Unified Pre-training with Pseudo Texts for Text-To-Image Person Re-identification

Zhiyin Shao, Xinyu Zhang+3 more|arXiv (Cornell University)|Sep 4, 2023

Video Surveillance and Tracking MethodsComputer Science被引用数 3

ひとこと要約

本稿では、テキストから画像への人物再識別（T2I-ReID）のための統合的事前学習フレームワーク、UniPTを提案する。本手法は、CLIPに基づく分割・統合戦略を用いて、大規模な疑似ラベル付き人物データセットLUPerson-Tを構築することで、データおよび学習の不一致を解消する。対照的学習とマスクされた言語モデリングを統合的に用いて視覚および言語エンコーダーを同時に事前学習し、CUHK-PEDESで68.50%のRank-1精度を達成し、最先端性能（SOTA）を実現した。

ABSTRACT

The pre-training task is indispensable for the text-to-image person re-identification (T2I-ReID) task. However, there are two underlying inconsistencies between these two tasks that may impact the performance; i) Data inconsistency. A large domain gap exists between the generic images/texts used in public pre-trained models and the specific person data in the T2I-ReID task. This gap is especially severe for texts, as general textual data are usually unable to describe specific people in fine-grained detail. ii) Training inconsistency. The processes of pre-training of images and texts are independent, despite cross-modality learning being critical to T2I-ReID. To address the above issues, we present a new unified pre-training pipeline (UniPT) designed specifically for the T2I-ReID task. We first build a large-scale text-labeled person dataset "LUPerson-T", in which pseudo-textual descriptions of images are automatically generated by the CLIP paradigm using a divide-conquer-combine strategy. Benefiting from this dataset, we then utilize a simple vision-and-language pre-training framework to explicitly align the feature space of the image and text modalities during pre-training. In this way, the pre-training task and the T2I-ReID task are made consistent with each other on both data and training levels. Without the need for any bells and whistles, our UniPT achieves competitive Rank-1 accuracy of, ie, 68.50%, 60.09%, and 51.85% on CUHK-PEDES, ICFG-PEDES and RSTPReid, respectively. Both the LUPerson-T dataset and code are available at https;//github.com/ZhiyinShao-H/UniPT.

研究の動機と目的

• 一般の事前学習データと人物固有のT2I-ReIDデータとの間のデータドメインギャップを解消すること。
• 画像とテキストエンコーダーが独立して事前学習されているにもかかわらず、クロスモodalなアライメントが求められるという学習の不整合を解消すること。
• データおよび学習レベルの両方で、事前学習とダウンストリームタスクの分布を一致させることで、T2I-ReIDの性能を向上させること。
• 手動アノテーションを一切用いずに、細粒度の人物固有のテキスト記述を自動で生成するスケーラブルで自動化された手法を開発すること。

提案手法

• CLIPに基づく分割・統合戦略を用いて、疑似記述を生成した大規模な画像・テキストデータセットLUPerson-Tを構築する。
• 人物の属性をフレーズ（例：'青いストライプのシャツ'）に分割し、固定されたCLIPを用いてそれらを画像にマッチングさせ、テンプレートを用いて完全な記述に統合する。
• 同義語置換を適用して記述の多様性を高め、冗長性を低減する。
• 対照的損失（画像・テキストペア間）とマスクされた言語モデリングを用いて、視覚および言語の事前学習フレームワークを実装し、過学習を防ぐ。
• 対照的損失とマスクされた言語モデリングの両方の目的関数を用いて、視覚的および言語的エンコーダーを同時に事前学習し、特徴空間をアライメントする。
• 統合的事前学習の出力を、ダウンストリームT2I-ReIDタスクの強力な初期化として使用する。

実験結果

リサーチクエスチョン

• RQ1 自動で生成された疑似ラベル付きの人物固有のテキスト記述は、T2I-ReIDの事前学習におけるデータドメインギャップを効果的に低減できるか？
• RQ2 視覚と言語エンコーダーを統合的に事前学習することで、独立した事前学習に比べてダウンストリームT2I-ReID性能が向上するか？
• RQ3 ダウンストリームタスクのデータおよび学習フォーマットを模倣する統合的事前学習パイプラインは、より良い一般化と性能をもたらすか？
• RQ4 疑似テキストの品質および多様性は、ゼロショットおよびクロスドメイン設定におけるモデル性能にどのように影響するか？

主な発見

• UniPTはDeiT-smallを用いてCUHK-PEDESで68.50%のRank-1精度を達成し、先行SOTA手法（LGUR：+1.58%、IVT：+2.91%）を上回った。
• ICFG-PEDESでは、DeiT-smallで60.09%、ViT-B/16で61.42%のRank-1精度を達成し、LGURおよびIVTを上回った。
• クロスドメイン一般化において、C→IおよびI→C設定でそれぞれSSAN(w/ BERT)よりも+6.27%および+7.41%の向上を示した。
• モデルは強力なドメイン一般化性能を示し、C→IおよびI→C設定でそれぞれLGURよりも+1.26%および+3.04%の向上を示した。
• アブレーションスタディの結果、多様なテンプレートと制御されたデータスケール（130万ペア）の組み合わせが性能を最大化することが確認されたが、過剰なデータはノイズを増加させることが分かった。
• Lpgu（プロトタイプベースの粒度統一）の導入により、特徴表現がさらに向上し、統合的事前学習設定下での有効性が裏付けられた。