[論文レビュー] CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels

Siyuan Li, Sun Li+1 more|arXiv (Cornell University)|Nov 25, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文は、具体的なテキストラベルを必要とせず、CLIPの視覚言語事前学習を活用する2段階手法CLIP-ReIDを提案する。IDごとに学習可能なテキストトークンを導入し、画像エンコーダーをクロスモodalな監視のもとで微調整する前に、対照的最適化によりそれらを最適化することで、人物および車両ReIDベンチマークで最先端の性能を達成し、従来手法より最大2.4%のmAP向上を達成した。

ABSTRACT

Pre-trained vision-language models like CLIP have recently shown superior performances on various downstream tasks, including image classification and segmentation. However, in fine-grained image re-identification (ReID), the labels are indexes, lacking concrete text descriptions. Therefore, it remains to be determined how such models could be applied to these tasks. This paper first finds out that simply fine-tuning the visual model initialized by the image encoder in CLIP, has already obtained competitive performances in various ReID tasks. Then we propose a two-stage strategy to facilitate a better visual representation. The key idea is to fully exploit the cross-modal description ability in CLIP through a set of learnable text tokens for each ID and give them to the text encoder to form ambiguous descriptions. In the first training stage, image and text encoders from CLIP keep fixed, and only the text tokens are optimized from scratch by the contrastive loss computed within a batch. In the second stage, the ID-specific text tokens and their encoder become static, providing constraints for fine-tuning the image encoder. With the help of the designed loss in the downstream task, the image encoder is able to represent data as vectors in the feature embedding accurately. The effectiveness of the proposed strategy is validated on several datasets for the person or vehicle ReID tasks. Code is available at https://github.com/Syliz517/CLIP-ReID.

研究の動機と目的

• 事前学習済みの視覚言語モデル（例：CLIP）を、説明的テキストのないIDインデックスのみをラベルとする画像再識別（ReID）に適用する課題に対処すること。
• IDに具体的なテキスト記述がないにもかかわらず、CLIPのクロスモーダル理解をReIDで活用する方法を検討すること。
• 学習可能なトークンによる曖昧でID固有のテキスト記述を生成することで、ReIDにおける有効な特徴学習を可能にする手法を開発すること。
• 複数のReIDデータセットにおいて、CNNおよびビジョントランスフォーマーベースのバックボーンを対象に、提案された2段階トレーニング戦略の有効性を検証すること。

提案手法

• 各IDに対して学習可能なテキストトークンの集合を導入し、明確なラベルの代わりに曖昧なテキスト記述を構築する。
• 1段階目では、CLIPの画像エンコーダーとテキストエンコーダーを固定し、バッチ内での対照的損失を用いてのみ学習可能なテキストトークンを最適化する。
• 2段階目では、最適化済みのテキストトークンとCLIPのテキストエンコーダーを固定し、それらを用いて画像エンコーダーの微調整にクロスモーダルな監視を提供する。
• 画像エンコーダーの精練に、ID損失（$\mathcal{L}_{id}$）、トリプレット損失（$\mathcal{L}_{tri}$）、画像からテキストへの対照的損失（$\mathcal{L}_{i2tce}$）を組み合わせた損失関数を用いる。
• ViTベースのモデルにおいて、特徴のロバスト性と一般化性能を向上させるために、SIE（Spatial-Enhanced Prompt）およびOLP（Occlusion-robust Prompt）技術を採用する。
• ResNet-50およびViT-B/16の両方のバックボーンをサポートし、トークン数（M=4）や損失成分、プロンプト工学に関する消去実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 IDに具体的なテキスト記述が存在しない状況でも、CLIPの視覚言語事前学習を画像再識別に効果的に活用できるか？
• RQ2 まず学習可能なテキストトークンを最適化し、その後それらを用いて画像エンコーダーの微調整を監視する2段階トレーニング戦略が、同時最適化と比較してより優れた性能を発揮するか？
• RQ3 固定またはプロンプトベースのテキスト記述と比較して、曖昧でID固有の学習可能なテキストトークンを用いることで、ReIDにおいてどのような差が生じるか？
• RQ4 ReID性能を最大化するために、学習可能なテキストトークンの最適な設定（例：数M）や損失成分の最適な組み合わせは何か？
• RQ5 提案手法は、標準的なReIDベースラインと比較して、特徴の識別性およびロバスト性を向上させることができるか？

主な発見

• 2段階トレーニング戦略は1段階トレーニングを著しく上回り、ViT-B/16を用いたMSMT17では73.4% mAPおよび88.7% Rank-1を達成したのに対し、1段階バージョンでは68.9% mAPおよび85.9% Rank-1にとどまった。
• 画像からテキストへの対照的損失（$\mathcal{L}_{i2tce}$）に訓練セットの全IDを用いることで、現在のバッチのみを用いる場合と比較して性能が向上し、$\mathcal{L}_{id}$、$\mathcal{L}_{tri}$、$\mathcal{L}_{i2tce}$の組み合わせでmAPが2.4%向上した。
• SIE-clsとOLP技術の組み合わせにより、MSMT17でmAPが2.4%、Rank-1が1.0%向上し、特徴品質の向上が明確に示された。
• 学習可能なテキストトークンの数（M）を4に設定すると最良の性能が得られ、M=1では不十分で、M=8では冗長となった。
• 本手法は、複数の人物および車両ReIDデータセットで最先端の性能を達成し、ViTベースのモデルがすべてのベンチマークでResNet-50バージョンを上回った。
• 可視化の結果、CLIP-ReIDは、局所的で識別的なパッチに注目するベースラインモデルとは異なり、より包括的なボディ領域に注目していることがわかった。