[論文レビュー] TIPCB: A Simple but Effective Part-based Convolutional Baseline for Text-based Person Search

Yuhao Chen, Guoqing Zhang+4 more|arXiv (Cornell University)|May 25, 2021

Video Surveillance and Tracking Methods被引用数 7

ひとこと要約

TIPCBは、画像とテキストの間のモダリティギャップを軽減するためのシンプルで効果的なエンドツーエンドの部分ベース畳み込みベースラインを提案する。二重パスの局所的アライメントを用いて、適応的視覚的・テキスト的局所特徴を抽出し、低レベル、局所レベル、グローバルレベルの特徴においてモダリティギャップを段階的に低減するマルチステージクロスマodalマッチング戦略を採用する。CUHK-PEDESにおいて最先端の性能を達成し、Top-1、Top-5、Top-10の正確度でそれぞれ3.69%、2.95%、2.31%の上回りを記録した。

ABSTRACT

Text-based person search is a sub-task in the field of image retrieval, which aims to retrieve target person images according to a given textual description. The significant feature gap between two modalities makes this task very challenging. Many existing methods attempt to utilize local alignment to address this problem in the fine-grained level. However, most relevant methods introduce additional models or complicated training and evaluation strategies, which are hard to use in realistic scenarios. In order to facilitate the practical application, we propose a simple but effective end-to-end learning framework for text-based person search named TIPCB (i.e., Text-Image Part-based Convolutional Baseline). Firstly, a novel dual-path local alignment network structure is proposed to extract visual and textual local representations, in which images are segmented horizontally and texts are aligned adaptively. Then, we propose a multi-stage cross-modal matching strategy, which eliminates the modality gap from three feature levels, including low level, local level and global level. Extensive experiments are conducted on the widely-used benchmark dataset (CUHK-PEDES) and verify that our method outperforms the state-of-the-art methods by 3.69%, 2.95% and 2.31% in terms of Top-1, Top-5 and Top-10. Our code has been released in https://github.com/OrangeYHChen/TIPCB.

研究の動機と目的

• テキストベースの人物検索における画像とテキストの間の顕著なモダリティギャップを解消すること。
• 追加のモデルや複雑なトレーニング戦略を必要としない実用的でエンドツーエンドで学習可能なフレームワークを設計すること。
• 両モダリティからの局所的・部分ベースの表現を活用してマッチング性能を向上させること。
• 低レベル、局所レベル、グローバルレベルの特徴において段階的にクロスマodal特徴のばらつきを低減すること。
• アーキテクチャとトレーニングパイプラインの簡素化により、実世界への展開を容易にすること。

提案手法

• 二重パスの局所的アライメントネットワークを設計：画像は水平ストライプに分割され、視覚的局所表現が得られる。一方、固定されたBERTモデルからのテキスト埋め込みは、マルチブランチの残差ネットワークを用いて処理され、適応的テキスト的アライメントが実現される。
• 各テキストブランチは、対応する視覚的パーツとマッチングするように学習され、局所レベルでのクロスマodalアライメントが可能になる。
• 低レベル、局所レベル、グローバルレベルの特徴表現において、段階的にモダリティギャップを低減するマルチステージクロスマodalマッチング戦略を採用する。
• 特徴統合のためのグローバルマックスプーリングを用い、特徴の識別性を強調し、ノイズを抑制する。
• 全フレームワークは補助タスクや追加モデルを一切用いずにエンドツーエンドで学習される。
• t-SNE可視化により、トレーニング中にクロスマodal特徴の分布が収束していることが確認され、効果的なモダリティアライメントが実現されていることが示された。

実験結果

リサーチクエスチョン

• RQ1 複雑なマルチモデルやマルチタスク手法に比べて、シンプルでエンドツーエンドで学習可能なネットワークがテキストベースの人物検索で優れた性能を発揮できるか？
• RQ2 視覚的パーツとテキストフレーズの間の適応的局所的アライメントは、モダリティギャップの低減にどの程度効果的か？
• RQ3 低レベル、局所レベル、グローバルレベルの特徴において段階的なマッチング戦略は、リtrieval正確度の向上に寄与するか？
• RQ4 平均プーリングやそれらの組み合わせと比較して、グローバルマックスプーリングは特徴の識別性を向上させるか？
• RQ5 部分的または曖昧な記述を持つハードなネガティブ例において、モデルの性能はいかがなものか？

主な発見

• TIPCBはCUHK-PEDESで63.63%のTop-1正確度を達成し、最先端手法を3.69ポイント上回った。
• モデルはTop-5正確度82.81%、Top-10正確度89.01%を達成し、それぞれ2.95%、2.31%の上回りを記録した。
• グローバルマックスプーリングは平均プーリングやそれらの組み合わせよりも顕著に優れた性能を示し、ノイズのフィルタリングと識別的特徴の保持の有効性を示している。
• t-SNE可視化により、トレーニング中にクロスマodal特徴の分布が収束しており、同じIDのサンプルがクラスタリングしていることが確認された。
• 「black short」や「dark backpack」、「sitting on a bike」のような部分的または微細な記述に対しても、正しくマッチングする正確な検索が可能である。
• 失敗事例の主な原因は、曖昧またはレアな記述（例：'70s looking' や 'white stripes'）に起因しており、細粒度の意味理解の難しさが浮き彫りになった。