[論文レビュー] PLIP: Language-Image Pre-training for Person Representation Learning

Jialong Zuo, Hong, Jiahao+6 more|arXiv (Cornell University)|May 15, 2023

Video Surveillance and Tracking Methods被引用数 19

ひとこと要約

PLIP は、SYNTH-PEDES という大規模な合成画像-テキストデータセットを用いて、三つのクロスモーダル事前タスクで discriminative な人物表現を学ぶ言語–画像事前学習フレームワークを導入し、テキストベースRe-ID、画像ベースRe-ID、属性認識の最先端性能を達成するとともに、少数ショットおよびドメイン一般化能力を強化します。

ABSTRACT

Language-image pre-training is an effective technique for learning powerful representations in general domains. However, when directly turning to person representation learning, these general pre-training methods suffer from unsatisfactory performance. The reason is that they neglect critical person-related characteristics, i.e., fine-grained attributes and identities. To address this issue, we propose a novel language-image pre-training framework for person representation learning, termed PLIP. Specifically, we elaborately design three pretext tasks: 1) Text-guided Image Colorization, aims to establish the correspondence between the person-related image regions and the fine-grained color-part textual phrases. 2) Image-guided Attributes Prediction, aims to mine fine-grained attribute information of the person body in the image; and 3) Identity-based Vision-Language Contrast, aims to correlate the cross-modal representations at the identity level rather than the instance level. Moreover, to implement our pre-train framework, we construct a large-scale person dataset with image-text pairs named SYNTH-PEDES by automatically generating textual annotations. We pre-train PLIP on SYNTH-PEDES and evaluate our models by spanning downstream person-centric tasks. PLIP not only significantly improves existing methods on all these tasks, but also shows great ability in the zero-shot and domain generalization settings. The code, dataset and weights will be released at~\url{https://github.com/Zplusdragon/PLIP}

研究の動機と目的

• 言語情報を視覚情報と組み合わせることで discriminative な人物表現を学習する動機づけ。
• セマンティックに統合された画像カラー化、視覚と属性の予測、視覚言語のマッチングという三つのクロスモーダル事前タスクを提案し、細粒度の画像–テキスト結合を構築する。
• 効果的な事前学習のために Stylish Pedestrian Attributes-union Captioning (SPAC) を用いた大規模な画像-テキスト人物データセット SYNTH-PEDES を作成。
• テキストベース Re-ID、画像ベース Re-ID、人物属性認識などの下流タスクへ強い転移を示し、少数ショットおよびドメイン一般化のシナリオを含む。

提案手法

• PLIP を三つの事前タスクとともに導入：semantic-fused image colorization (SIC)、visual-fused attributes prediction (VAP)、vision-language matching (VLM)。
• SPAC によって diverse attribute-caption 生成のための最も大規模な現実人物画像-テキストデータセット SYNTH-PEDES を構築。
• SIC：テキスト記述を用いてカラー化することで、テキストの全体的な埋め込みを視覚特徴と融合しカラー復元を促進。
• VAP：視覚的全体表現とマスク付きテキスト表現を用いてキャプション中のマスクされた属性フレーズを予測。
• VLM：CMPM（cross-modal projection matching）を最小化し、視覚と言語の埋め込みを共有空間で整列。
• L_sic、L_vap、L_vlm をタスク重み付きのハイパーパラメータと共に組み合わせた多タスク目的で訓練。

実験結果

リサーチクエスチョン

• RQ1 言語信号は、純粋な視覚事前学習を超えて discriminative な人物表現の向上に寄与するか。
• RQ2 クロスモーダル事前タスクは、テキストベースおよび画像ベースの Re-ID および属性認識のためのより強いクロスモーダル整合性を促進するか。
• RQ3 多様な属性-キャプションペアを持つ大規模な合成画像-テキストデータセットは人物表現の事前学習に有効か。
• RQ4 PLIP は視覚のみや他の CLIP 系ベースラインと比較して、ドメイン横断・少数ショット設定でどれくらい一般化するか。
• RQ5 各事前タスクがクロスモーダル一般化と下流性能にどの貢献をもつか。

主な発見

• PLIP は、統一されたビジョン-ランゲージ空間を学習することで、複数の人物理解タスクの新しいベースラインを設定。
• SYNTH-PEDES はこれまでで最大の画像-テキスト人物データセットであり（識別子 312,321、画像 4,791,711、説明 12,138,157）。
• テキストベース Re-ID において、PLIP 強化モデルは競合ベースラインに対して顕著な Rank-1 改善を達成（例：提案フレームワーク使用時に CUHK-PEDES と ICFG-PEDES でそれぞれ 3.98% および 5.23% のゲイン）。
• ドメイン一般化において、PLIP は従来手法（例：LGUR）を大きく上回り、ドメイン間設定で Rank-1 のゲインが 19.4% および 30.54% に達する。
• PLIP はテキストベースおよび画像ベース Re-ID の両方のシナリオで強力な少数ショット性能を示し、低データ域で ImageNet 前学習ベースを上回り、データセット間で競争力のある結果を提供。
• アブレーション解析により、三つの事前タスクすべてが性能に寄与し、結合使用がゼロショット検索で最良の結果をもたらす。