[論文レビュー] Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification

Suncheng Xiang, Jingsheng Gao+6 more|arXiv (Cornell University)|Apr 19, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、画像とテキストモダリティを統合的にモデル化することで、一般化可能な人物再識別のための頑健な視覚的・意味的埋め込みを学習する、マルチモーダル同等変換器（MMET）を提案する。動的マスキング機構（MMM）を導入し、学習中に画像パッチとテキストトークンを同時にマスキングすることで、単モダリティおよびマルチモダリティデータ上で効果的な表現学習を可能にし、ドメイン固有の微調整なしに複数のRe-IDベンチマークで最先端の性能を達成している。

ABSTRACT

Generalizable person re-identification (Re-ID) is a very hot research topic in machine learning and computer vision, which plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. However, previous methods mainly focus on the visual representation learning, while neglect to explore the potential of semantic features during training, which easily leads to poor generalization capability when adapted to the new domain. In this paper, we propose a Multi-Modal Equivalent Transformer called MMET for more robust visual-semantic embedding learning on visual, textual and visual-textual tasks respectively. To further enhance the robust feature learning in the context of transformer, a dynamic masking mechanism called Masked Multimodal Modeling strategy (MMM) is introduced to mask both the image patches and the text tokens, which can jointly works on multimodal or unimodal data and significantly boost the performance of generalizable person Re-ID. Extensive experiments on benchmark datasets demonstrate the competitive performance of our method over previous approaches. We hope this method could advance the research towards visual-semantic representation learning. Our source code is also publicly available at https://github.com/JeremyXSC/MMET.

研究の動機と目的

• データセット間のドメインシフトによって生じる人物再識別におけるドメイン一般化性能の低さという課題に対処すること。
• 多様な視覚的およびテキスト的ドメインにわたるモデルの頑健性を向上させるために、意味的特徴の潜在的価値を検討すること。
• 未ペairedおよびペアドの画像・テキストデータを効果的に処理できる統一された変換器ベースのアーキテクチャの開発。
• 再トレーニングや微調整なしに、新しいデータセットへのゼロショット適応を可能にすること。
• ドメイン一般化において、ラベル付きのターゲットデータや固定クラスセットに依存する既存手法の限界を克服すること。

提案手法

• ビジョン、言語、ビジョン・ランゲージのタスクに共通する1つの変換器アーキテクチャを用いるマルチモーダル同等変換器（MMET）を提案する。
• 事前学習中に画像パッチとテキストトークンを同時にマスキングする動的マスキング機構「マスクドマルチモーダルモデリング（MMM）」を導入する。
• MMMにより、単モダリティ（画像のみまたはテキストのみ）およびマルチモダリティ（画像・テキストペア）入力上で統合的学習が可能になり、頑健性と一般化性能が向上する。
• 共有埋め込み空間内で視覚的特徴とテキスト的特徴を整列させるためにコントラスト学習の目的関数を用いる。
• 単モダリティとマルチモダリティ処理を分離するために、共有アテンションメカニズムを備えたデュアルブランチエンコーダ構造を採用する。
• ペアドでない画像、ペアドでないテキスト、およびペアドの画像・テキストデータの組み合わせを用いて学習することで、欠損モダリティ状態下での表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 統一された変換器アーキテクチャは、人物再識別において単モダリティおよびマルチモダリティ入力の両方で視覚的・意味的表現を効果的に学習できるか？
• RQ2 画像パッチとテキストトークンの動的マスキングは、ドメインシフト下でのRe-IDにおける頑健性と一般化性能をどのように向上させるか？
• RQ3 事前学習段階で意味的特徴を統合することで、未観測データセットへのゼロショット転移性能が向上するか？
• RQ4 微調整なしのクロスデータセット一般化において、提案されたMMETフレームワークは既存手法と比較してどのように差をつけるか？
• RQ5 事前学習データのスケールと多様性は、マルチモーダルRe-IDモデルの性能にどの程度影響を与えるか？

主な発見

• MMETは、ゼロショットクロスデータセット一般化設定下で、Market-1501、DukeMTMC-reID、CUHK03の各データセットで最先端の性能を達成した。
• DukeMTMC-reIDでは、FineGPR事前学習を用いたMMETが43.6%のRank-1精度を達成し、同じバックボーンを用いたRandPersonベースライン（47.6% Rank-1）を上回った。
• 提案されたMMM機構は、単モダリティおよびマルチモダリティデータ上で効果的な統合的学習を可能にすることで、すべてのベンチマークで顕著な性能向上をもたらした。
• Grad-CAM可視化により、MMETが意味的な注目マップを学習していることが確認され、判別的特徴のより良い局在化が示された。
• 微調整や適応処理なしに、未観測のデータセットに対しても効果的に一般化できており、強力なドメイン一般化能力を示した。
• FineGPRのような小規模または多様性に欠けるデータセットでは性能が低下したため、データのスケールと多様性がビジョン変換器の性能に重要な要因であることが示された。