[論文レビュー] CLIP-Driven Fine-grained Text-Image Person Re-identification

Shuanglin Yan, Neng Dong+2 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、特徴埋め込みを用いず、細粒度なモodal内特徴とモダリティ間対応関係を抽出するCLIP駆動型フレームワークCFineを提案する。マルチグレイングlobal特徴学習、クロスグレイン特徴精錬、細粒度対応関係発見を導入することで、CLIPのマルチモーダル知識を元のモダリティ空間そのもので直接活用し、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

TIReID aims to retrieve the image corresponding to the given text query from a pool of candidate images. Existing methods employ prior knowledge from single-modality pre-training to facilitate learning, but lack multi-modal correspondences. Besides, due to the substantial gap between modalities, existing methods embed the original modal features into the same latent space for cross-modal alignment. However, feature embedding may lead to intra-modal information distortion. Recently, CLIP has attracted extensive attention from researchers due to its powerful semantic concept learning capacity and rich multi-modal knowledge, which can help us solve the above problems. Accordingly, in the paper, we propose a CLIP-driven Fine-grained information excavation framework (CFine) to fully utilize the powerful knowledge of CLIP for TIReID. To transfer the multi-modal knowledge effectively, we perform fine-grained information excavation to mine intra-modal discriminative clues and inter-modal correspondences. Specifically, we first design a multi-grained global feature learning module to fully mine intra-modal discriminative local information, which can emphasize identity-related discriminative clues by enhancing the interactions between global image (text) and informative local patches (words). Secondly, cross-grained feature refinement (CFR) and fine-grained correspondence discovery (FCD) modules are proposed to establish the cross-grained and fine-grained interactions between modalities, which can filter out non-modality-shared image patches/words and mine cross-modal correspondences from coarse to fine. CFR and FCD are removed during inference to save computational costs. Note that the above process is performed in the original modality space without further feature embedding. Extensive experiments on multiple benchmarks demonstrate the superior performance of our method on TIReID.

研究の動機と目的

• 特徴埋め込みに依存する従来のテキスト・画像ReID手法が、モダリティ内情報の歪みを引き起こすという限界を解消すること。
• 従来の手法で用いられる単一モダリティ事前学習バックボーンに起因するマルチモーダル対応情報の欠如を克服すること。
• CLIPの豊富なマルチモーダル知識を活用し、人物再識別における細粒度なクロスモーダルアライメントを向上させること。
• 特徴埋め込みがTIReIDに不要であることを示し、元のモダリティ空間で直接処理することを実証すること。
• CLIPバックボーンの微調整を伴わず、CLIPの知識を細粒度検索タスクに効果的に転送するフレームワークを開発すること。

提案手法

• グローバル画像／テキストとローカルに判別力のあるパッチ／語の間の相互作用を強化するため、マルチグレインググローバル特徴学習（MGF）モジュールを提案し、マルチグレインググローバル特徴を抽出する。
• 粗粒度のクロスモーダル相互作用（画像-語、文-パッチ）を確立し、共有されないローカル情報をフィルタリングするため、クロスグレイン特徴精錬（CFR）を導入する。
• トップ-K選択を用いて、画像パッチと語の間の正確な細粒度アライメントを学習するため、細粒度対応関係発見（FCD）を設計する。
• 共有潜在空間に特徴を投影しないで、元のモダリティ空間で全処理を実行することで、モダリティ内歪みを回避する。
• CFRで使用する類似度集約戦略を学習可能にし、ソフトマックスで生成された重みを用いて重み付き和の類似度計算により、重要なキューを強調する。
• 推論時にはCFRおよびFCDモジュールを削除し、効率性を確保するため、MGFとCLIPエンコーダーのみを保持する。

実験結果

リサーチクエスチョン

• RQ1 特徴埋め込みを経由せずに、CLIPのマルチモーダル知識をテキスト・画像の人物再識別に効果的に転送できるか？
• RQ2 特徴埋め込みを排除することで、モダリティ内情報の歪みが軽減され、細粒度検索性能が向上するか？
• RQ3 細粒度なモダリティ内およびモダリティ間対応関係のマイニングが、インスタンスレベル表現を越えてクロスモーダルアライメントを向上させられるか？
• RQ4 正確なクロスモーダル対応関係を確立するための、局所的パッチおよび語の最適な設定は何か？
• RQ5 特徴埋め込みを用いるベースライン手法と比較して、提案フレームワークはロバストネスおよび一般化性能において優れているか？

主な発見

• CFineは、3つの主要なTIReIDベンチマーク（CUHK-PEDES、PRID-SDP、MSMT127）で最先端の性能を達成した。
• CUHK-PEDESでは、Rank-1精度が69.57%に達し、ベースライン + CLIP手法を0.5パーセンテージポイント上回った。
• アブレーションスタディの結果、CFRにおける提案された重み付き類似度集約が、和、平均、最大値集約と比較して0.5%の性能向上を達成した。
• 1語あたりの正例パッチ数の最適値はKp=3であり、これより多いまたは少ない値はノイズやオーバーフィッティングにより性能を低下させる。
• 定性的な結果から、CFineはバッグ、靴、ギターなどの判別力のある局所的属性を効果的にマイニングすることで、色の手がかりへの依存を低減した。
• 特に複雑な状況やオクルージョンがある状況でも、ベースライン + CLIPが失敗するのに対し、CFineは正しくアイデンティティを検索できた。