[論文レビュー] Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification

Hu Lu, Xuezhang Zou+1 more|arXiv (Cornell University)|Dec 1, 2022

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本稿では、グレースケール画像を補助モダリティとして用い、段階的な学習戦略によりモダリティギャップを低減する、可視赤外人物再識別のための新規フレームワークであるプログレッシブモダリティ共有トランスフォーマー（PMT）を提案する。モダリティ共有強化損失（MSEL）と判別的センター損失（DCL）を導入し、信頼性の高い共有特徴を強化することで、すべての検索モード下でSYSU-MM01およびRegDBデータセットでSOTA性能を達成し、Rank-1が67.53%、mAPが76.52%を記録した。

ABSTRACT

Visible-Infrared Person Re-Identification (VI-ReID) is a challenging retrieval task under complex modality changes. Existing methods usually focus on extracting discriminative visual features while ignoring the reliability and commonality of visual features between different modalities. In this paper, we propose a novel deep learning framework named Progressive Modality-shared Transformer (PMT) for effective VI-ReID. To reduce the negative effect of modality gaps, we first take the gray-scale images as an auxiliary modality and propose a progressive learning strategy. Then, we propose a Modality-Shared Enhancement Loss (MSEL) to guide the model to explore more reliable identity information from modality-shared features. Finally, to cope with the problem of large intra-class differences and small inter-class differences, we propose a Discriminative Center Loss (DCL) combined with the MSEL to further improve the discrimination of reliable features. Extensive experiments on SYSU-MM01 and RegDB datasets show that our proposed framework performs better than most state-of-the-art methods. For model reproduction, we release the source code at https://github.com/hulu88/PMT.

研究の動機と目的

• 可視画像と赤外画像の間の大きなモダリティギャップを解消すること。
• 可視および赤外モダリティ間で共有される表現を活用することで、特徴の信頼性を向上させること。
• クロスモダリティ特徴学習におけるクラス内分散の低減とクラス間分離性の向上。
• 既存のSOTA手法を上回る、標準ベンチマークで堅牢かつ汎用性の高いフレームワークの開発。

提案手法

• グレースケール画像を補助モダリティとして用い、可視および赤外特徴を段階的に整合化する段階的学習戦略を導入する。
• モダリティ間で共有される特徴を明示的に強化し、モダリティ固有のノイズを低減するため、モダリティ共有強化損失（MSEL）を提案する。
• モダリティ共有特徴空間におけるクラス内分散の最小化とクラス間マージンの最大化を目的とした判別的センター損失（DCL）を設計する。
• 長距離依存関係を捉え、共有空間における特徴表現を向上させるために、トランスフォーマー基盤を採用する。
• 共有アテンションメカニズムを備えたデュアルストリームアーキテクチャを採用し、特徴統合を促進するとともに、モダリティ固有の詳細を保持する。
• MSELとDCLをハードトライオレット損失と組み合わせ、モダリティ不変性と判別力の両方を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 グレースケール画像による補助モダリティの監視が、可視赤外ReIDにおけるクロスモダリティ特徴統合を改善できるか？
• RQ2 どのようにすれば、モダリティ共有特徴を強化し、信頼性を高め、モダリティ固有のノイズを低減できるか？
• RQ3 大きな外観変動が存在する状況下でも、判別的センター損失がクラス内分散を効果的に低減できるか？
• RQ4 提案された段階的学習戦略が、多様なReIDベンチマークにおける一般化性能をどの程度向上させるか？

主な発見

• SYSU-MM01データセットでは、PMTはすべての検索モード下で67.53%のRank-1と76.52%のmAPを達成し、以前のSOTA手法をRank-1で12%以上、mAPで11%以上上回った。
• RegDBデータセットでは、V to Tモードで84.83%のRank-1と76.55%のmAPを達成し、最高の既存手法と比較して4%の性能向上を示した。
• RegDBのより困難なT to Vモードでは、84.16%のRank-1と75.13%のmAPを達成し、クエリモダリティのシフトに対しても強いロバストネスを示した。
• アブレーションスタディの結果、MSELとDCLの両方が性能向上に顕著な貢献をしていることが確認され、MSELはモダリティ共有特徴の品質向上に寄与し、DCLはクラス内分散の低減に寄与した。
• フレームワークは異なるCNNバックボーンにおいても良好に一般化されることを示し、単一アーキテクチャを超えた互換性と有効性を示した。
• グレースケール画像を補助モダリティとして用いることで、特に大きな視点変化や照明変動が生じる状況下でも、特徴統合が顕著に向上した。