[論文レビュー] RaSa: Relation and Sensitivity Aware Representation Learning for Text-based Person Search

Yang Bai, Min Cao+6 more|arXiv (Cornell University)|May 23, 2023

Multimodal Machine Learning Applications参考文献 55被引用数 6

ひとこと要約

RaSaは、テキストベースの人物検索のための新しい表現学習フレームワークを提案し、マルチモodal表現の質を向上させるために、関係に配慮する（RA）学習と感受性に配慮する（SA）学習を導入する。弱い陽性ペアと強い陽性ペアを区別し、データ拡張下での語の置換を検出することで、CUHK-PEDES、ICFG-PEDES、RSTPReidでそれぞれ6.94%、4.45%、15.35%のRank@1向上を達成し、先行手法を上回る最先端の性能を実現する。

ABSTRACT

Text-based person search aims to retrieve the specified person images given a textual description. The key to tackling such a challenging task is to learn powerful multi-modal representations. Towards this, we propose a Relation and Sensitivity aware representation learning method (RaSa), including two novel tasks: Relation-Aware learning (RA) and Sensitivity-Aware learning (SA). For one thing, existing methods cluster representations of all positive pairs without distinction and overlook the noise problem caused by the weak positive pairs where the text and the paired image have noise correspondences, thus leading to overfitting learning. RA offsets the overfitting risk by introducing a novel positive relation detection task (i.e., learning to distinguish strong and weak positive pairs). For another thing, learning invariant representation under data augmentation (i.e., being insensitive to some transformations) is a general practice for improving representation's robustness in existing methods. Beyond that, we encourage the representation to perceive the sensitive transformation by SA (i.e., learning to detect the replaced words), thus promoting the representation's robustness. Experiments demonstrate that RaSa outperforms existing state-of-the-art methods by 6.94%, 4.45% and 15.35% in terms of Rank@1 on CUHK-PEDES, ICFG-PEDES and RSTPReid datasets, respectively. Code is available at: https://github.com/Flame-Chasers/RaSa.

研究の動機と目的

• テキストベースの人物検索におけるノイズの多い弱い陽性ペアによって引き起こされる過学習を緩和すること。
• 不変性にとどまらず、意味のあるデータ変換に対して感受性を持つようにモデルを学習させることで、表現のロバスト性を向上させること。
• テキストと画像の埋め込み間のクロスモodal整合性を、新しい自己教師付きタスクを通じて向上させること。
• 標準的なテキストベースの人物検索ベンチマークで最先端の性能を達成すること。

提案手法

• 強い陽性ペアと弱い陽性ペアを区別するため、確率的画像-テキストマッチング（p-ITM）タスクと陽性関係検出（PRD）タスクを用いた関係に配慮する（RA）学習を導入する。
• 感受性に配慮する（SA）学習における置換トークン検出（m-RTD）タスクのために、モーメンタムベースのジェネレータを用いて現実的な語の置換を生成する。
• 対照的学習（CL）をバックボーンとし、学習可能な損失重みを用いたマルチタスク最適化によりRAおよびSAタスクを統合する。
• 訓練中にノイズと有用な情報のバランスを取るために、マスキング率と入力確率を適用し、ロバストネスと一般化性能を最適化する。
• 置換トークンの生成を安定化させるためにモーメンタムモデルを用い、段階的に検出タスクの難易度を高める。
• 共有エンコーダとモーメンタム更新付きキーネットワークを備えた二重ブランチアーキテクチャを採用し、動的増幅を伴う対照的学習を可能にする。

Figure 1: Illustration of (a) two types of positive relations for relation-aware learning, where the noise interference in the weak positive pairs is highlighted in red, (b) replaced token detection for sensitivity-aware learning, in which word replacement is used as the sensitive transformation and

実験結果

リサーチクエスチョン

• RQ1 テキストベースの人物検索における弱い陽性ペアによって引き起こされる過学習をどのように軽減できるか？
• RQ2 意味のある変換（例：語の置換）を検出する学習が、不変性を越えて表現のロバスト性を向上させられるか？
• RQ3 自己教師付き学習における人物検索の文脈で、動的でモーメンタムベースのジェネレータを用いたデータ拡張の影響は何か？
• RQ4 置換トークン検出のための異なる訓練戦略が、最終的なリtrieval性能に与える影響は何か？
• RQ5 提案手法は、細分化されたと粗粒度の画像-テキストリtrievalベンチマークの両方でどの程度一般化可能か？

主な発見

• RaSaは、前回の最先端手法と比較して、CUHK-PEDESデータセットでRank@1に6.94%の絶対的向上を達成した。
• ICFG-PEDESデータセットでは、最も強力なベースラインと比較してRank@1が4.45%向上した。
• RSTPReidデータセットでは最大の向上を示し、Rank@1が15.35%増加した。これは、細分化された困難な人物検索において優れた性能を示している。
• 最も優れたパフォーマンスを示した変種、すなわちモーメンタムジェネレータを用いたm-RTDは、76.51%のRank@1を達成し、オンライン（75.99%）および固定ジェネレータ（75.13%）の変種を上回った。
• 除去分析の結果、RAタスクとSAタスクの組み合わせが最大の向上をもたらし、m-RTDが最も効果的なトークン置換検出を実現することが確認された。
• ハイパーパramータ分析の結果、最適なパフォーマンスは、p^w = 0.1（弱い陽性入力確率）、p^m = 0.3（マスキング率）、λ1 = λ2 = λ3 = 0.5（損失重み）の組み合わせで得られた。

Figure 2: Model architecture of RaSa. It consists of an image encoder, a text encoder and a cross-modal encoder. An intra- and cross-modal CL task is attached after the unimodal encoders for unimodal representation learning. RA and SA tasks are tied after the cross-modal encoders for multi-modal rep