[論文レビュー] Learning Semantic-Aligned Feature Representation for Text-based Person Search

Shiping Li, Min Cao+1 more|arXiv (Cornell University)|Dec 13, 2021

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、視覚変換器（ViT）とBERTのバックボーンを活用して、テキストベースの人物検索のための部分に注意を向けたクロスモダリティ統合特徴を学習する、意味的整合性のある特徴集約ネットワークを提案する。マルチヘッドアテンションに加え、クロスモダリティ部分整合性損失と多様性損失を用いることで、外部モデルや複雑なアテンション機構を用いずに、CUHK-PEDES（64.13% Rank-1）およびFlickr30K（50.74% Rank-1）で最先端の性能を達成した。

ABSTRACT

Text-based person search aims to retrieve images of a certain pedestrian by a textual description. The key challenge of this task is to eliminate the inter-modality gap and achieve the feature alignment across modalities. In this paper, we propose a semantic-aligned embedding method for text-based person search, in which the feature alignment across modalities is achieved by automatically learning the semantic-aligned visual features and textual features. First, we introduce two Transformer-based backbones to encode robust feature representations of the images and texts. Second, we design a semantic-aligned feature aggregation network to adaptively select and aggregate features with the same semantics into part-aware features, which is achieved by a multi-head attention module constrained by a cross-modality part alignment loss and a diversity loss. Experimental results on the CUHK-PEDES and Flickr30K datasets show that our method achieves state-of-the-art performances.

研究の動機と目的

• 画像とテキスト間の細粒度な意味的整合性のある特徴学習を可能にすることで、テキストベースの人物検索におけるクロスモダリティギャップに取り組む。
• 事前に定義された領域や複雑なアテンション機構に依存する既存のグローバルマッチングおよびローカルマッチング手法の限界を克服する。
• 追加のモデルや高い推論コストを必要とせず、自動的に部分に注意を向けた特徴を学習できるエンドツーエンドで訓練可能なアーキテクチャを開発する。
• 統一的で軽量なフレームワークを通じて、グローバルおよびローカルマッチング信号を統合することで、リtrieval性能を向上させる。

提案手法

• 画像およびテキストから強固で高次元の表現を抽出するために、モダリティ固有の特徴エンコーダーとしてビジョン変換器（ViT）とBERTを活用する。
• 共通の意味的特徴をもつモダリティ間で特徴を適応的に集約するため、意味的整合性のある特徴集約ネットワーク（SAFA）を導入する。
• アテンションされた視覚的パッチとテキストの語が意味的に対応するように保証するため、クロスモダリティ部分整合性損失を課す。
• アテンションヘッドが異なる意味的パーツに注目するよう促進し、重複を防ぎ、特徴カバレッジを向上させるため、多様性損失を適用する。
• [CLS]トークンからのグローバル特徴とパッチ／語の特徴を統合することで、統一されたフレームワーク内でグローバルおよびローカルマッチングを可能にする。
• 最終的なリtrieval性能を最適化するために、対照的学習の目的関数を用いて、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 外部モデルを用いずに、軽量でエンドツーエンドで訓練可能なネットワークが、画像とテキストモダリティ間で意味的整合性があり、部分に注意を向けた特徴を学習できるか。
• RQ2 提案された意味的整合性のある特徴集約ネットワークは、既存のアテンションベースまたはルールベースのローカルマッチング手法と比較して、性能および効率性においてどのように差をつけるか。
• RQ3 クロスモダリティ部分整合性損失と多様性損失は、リtrieval精度の向上にどの程度寄与しているか。
• RQ4 提案手法は、CUHK-PEDESおよびFlickr30Kといった異なるベンチマークにおいても、一貫した最先端の性能を発揮するか。
• RQ5 最良のリtrieval性能を得るためのハイパーパramータ K（パーツ数）および λ（多様性損失重み）の最適な設定は何か。

主な発見

• 提案手法は、CUHK-PEDESデータセットで64.13%のRank-1精度を達成し、すべての先行最先端手法を上回った。
• Flickr30Kデータセットでは、50.74%のRank-1精度を達成し、前回の最先端手法を8ポイント以上上回った。
• アブレーションスタディの結果、SAFAモジュールはグローバル特徴のみのベースラインに対して4.34%のRank-1精度向上を示し、ローカルマッチングの有効性を裏付けた。
• グローバル特徴と部分に注意を向けた特徴の組み合わせが最良のパフォーマンスをもたらし、グローバルエンコーダーが強力な補助信号を提供していることがわかった。
• ハイパーパramータ分析により、K=10およびλ=0.2が最適なパフォーマンスをもたらすことが確認され、それより高いまたは低い値では性能が低下した。
• アテンションマップの可視化により、各ヘッドが画像およびテキストで異なる意味的パーツに注目していることが確認され、効果的なクロスモダリティ整合性が裏付けられた。