[論文レビュー] See Finer, See More: Implicit Modality Alignment for Text-based Person Retrieval

Xiujun Shu, Wei Wen+6 more|arXiv (Cornell University)|Aug 18, 2022

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本稿では、テキストベースの人物検索のための暗黙的視覚・言語的（IVT）フレームワークを提案する。このフレームワークは、視覚的および言語的表現を共同で学習できる単一の共有バックボーンネットワークを用い、明示的な部位レベルのアノテーションを用いずに暗黙的なモodal同調を実現する。多段階の同調（MLA）と双方向マスクモデリング（BMM）を導入することで、微細なおよび繊細なクロスマodal同調を捉えることができ、従来手法でさえも明示的な身体部位ラベルなしで、CUHK-PEDES、RSTPReID、ICFG-PEDESの3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Text-based person retrieval aims to find the query person based on a textual description. The key is to learn a common latent space mapping between visual-textual modalities. To achieve this goal, existing works employ segmentation to obtain explicitly cross-modal alignments or utilize attention to explore salient alignments. These methods have two shortcomings: 1) Labeling cross-modal alignments are time-consuming. 2) Attention methods can explore salient cross-modal alignments but may ignore some subtle and valuable pairs. To relieve these issues, we introduce an Implicit Visual-Textual (IVT) framework for text-based person retrieval. Different from previous models, IVT utilizes a single network to learn representation for both modalities, which contributes to the visual-textual interaction. To explore the fine-grained alignment, we further propose two implicit semantic alignment paradigms: multi-level alignment (MLA) and bidirectional mask modeling (BMM). The MLA module explores finer matching at sentence, phrase, and word levels, while the BMM module aims to mine extbf{more} semantic alignments between visual and textual modalities. Extensive experiments are carried out to evaluate the proposed IVT on public datasets, i.e., CUHK-PEDES, RSTPReID, and ICFG-PEDES. Even without explicit body part alignment, our approach still achieves state-of-the-art performance. Code is available at: https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.

研究の動機と目的

• 分離されたモデルと明示的な部位レベルのアノテーションに依存する従来のテキストベースの人物検索手法の限界を解消すること。
• 推論の複雑さを増さずに、視覚的および言語的モダリティ間のより深い相互作用を可能にすることで、クロスマodal同調を向上させること。
• サリエンシーに基づく手法がしばしば見逃す、微細な（例：単語レベル）および繊細な（例：ヘアスタイル、ロゴ）意味的同調を同定すること。
• エンドツーエンドのテキストベースの人物検索に適した統合的で効率的かつ効果的なバックボーンアーキテクチャを開発すること。

提案手法

• 視覚的および言語的モダリティの両方の特徴を抽出できる、単一の共有トランスフォーマー基盤ネットワークを用いる暗黙的視覚・言語的（IVT）フレームワークを提案する。これにより、共有パラメータを通じて内在的なモダリティ相互作用が実現される。
• 多段階の同調（MLA）を導入し、文、フレーズ、単語レベルでのクロスマodalマッチングを実施することで、明示的でない監視のもとで微細な意味的同調を捉える。
• 双方向マスクモデリング（BMM）を採用し、視覚的および言語的トークンのランダムマスキングを施すことで、欠落した意味的手がかりを再構築させるようにモデルを学習させ、強力なクロスマodal表現を学習させる。
• 単一のネットワーク内での共有モジュールと特定モジュールを活用し、同調のための特徴共有と、表現能力のためのモダリティ固有の学習のバランスを取る。
• 従来の手法で用いられるクロスアテンション機構の2次関数的推論コストを回避するアーキテクチャを活用することで、高い検索速度を維持する。
• 部位レベルの対応を手動でアノテートする必要がない自己教師付き学習戦略（BMM）を実装し、アノテーションなしで同調を強化する。

実験結果

リサーチクエスチョン

• RQ1 統合されたバックボーンネットワークは、分離された視覚的および言語的エンコーダーに代わって、性能を維持または向上させながら、テキストベースの人物検索に効果的に適用可能か？
• RQ2 高価な身体部位の手動アノテーションに依存せずに、暗黙的かつ自己教師付きのメカニズムが、微細なクロスマodal同調をどのように向上させられるか？
• RQ3 視覚的および言語的トークンの双方向マスキングは、顕著な領域を超えて、繊細な意味的同調の発見をどの程度向上させるか？
• RQ4 明示的な部位レベルの監視がなくても、モデルは正確で多様な属性レベルの同調（例：衣類、アクセサリー）を学習できるか？
• RQ5 提案されたフレームワークは、従来の手法と比較して、高い推論効率を維持しながら最先端の性能を達成できるか？

主な発見

• IVTフレームワークは、明示的な部位レベルのアノテーションを一切使用せず、3つの公開ベンチマーク（CUHK-PEDES、RSTPReID、ICFG-PEDES）で最先端の性能を達成した。
• モデルは、従来のベースライン手法がしばしば見逃すヘアスタイルや衣類のロゴといった繊細な属性を効果的に捉えており、顕著な領域を超えて「より多くを認識する」能力を示している。
• 可視化結果から、モデルが正確に単語レベルの同調を達成しており、'shoes' や 'handbag' といった記述を対応する画像領域に正しく局在化できていることが確認された。
• IVTの検索時間は、ViLTなどの一般的な画像・テキスト検索モデル（CUHK-PEDESで42秒対103,320秒）と比較して顕著に高速であり、実世界の展開に実用的である。
• LSTMベースのモデルよりもパラメータ数が多いにもかかわらず、IVTは競争力ある推論速度を維持し、NAFSのような手法よりも速度と精度の両面で優れている。
• アブレーションスタディの結果、MLAとBMMの両方が性能向上に寄与しており、特にBMMが顕著でないが意味のある同調を発見するのに顕著に有効であることが確認された。