[論文レビュー] Exploring Modality-shared Appearance Features and Modality-invariant Relation Features for Cross-modality Person Re-Identification

Nianchang Huang, Jianan Liu+2 more|arXiv (Cornell University)|Apr 23, 2021

Video Surveillance and Tracking Methods参考文献 55被引用数 5

ひとこと要約

本論文は、クロスモダリティおよびイントラモダリティの変動を低減するために、モダリティ共有の外見特徴とモダリティ不変の関係特徴を共同で学習する、新しいクロスモダリティ人間再識別手法を提案する。マルチレベル2ストリームドモダリティ共有特徴抽出（MTMFE）ネットワークとクロスモダリティ四重損失を導入することで、SYSU-MM01およびRegDBベンチマークにおいて、シングルショットおよびマルチショット設定の両方で、先行手法を顕著に上回る最先端の性能を達成した。

ABSTRACT

Most existing cross-modality person re-identification works rely on discriminative modality-shared features for reducing cross-modality variations and intra-modality variations. Despite some initial success, such modality-shared appearance features cannot capture enough modality-invariant discriminative information due to a massive discrepancy between RGB and infrared images. To address this issue, on the top of appearance features, we further capture the modality-invariant relations among different person parts (referred to as modality-invariant relation features), which are the complement to those modality-shared appearance features and help to identify persons with similar appearances but different body shapes. To this end, a Multi-level Two-streamed Modality-shared Feature Extraction (MTMFE) sub-network is designed, where the modality-shared appearance features and modality-invariant relation features are first extracted in a shared 2D feature space and a shared 3D feature space, respectively. The two features are then fused into the final modality-shared features such that both cross-modality variations and intra-modality variations can be reduced. Besides, a novel cross-modality quadruplet loss is proposed to further reduce the cross-modality variations. Experimental results on several benchmark datasets demonstrate that our proposed method exceeds state-of-the-art algorithms by a noticeable margin.

研究の動機と目的

• RGB-IRモダリティ間の大きな差異により、十分な識別的情報を捉えられない、単一のモダリティ共有外見特徴に依存する既存のクロスモダリティ人間Re-ID手法の限界を是正すること。
• RGBとIRの撮影差異に起因するクロスモダリティの変動と、ポーズ、視点、隠蔽変化に起因するイントラモダリティの変動の両方を低減すること。
• モダリティ間で不変な構造的ボディパーツ関係を捉える、モダリティ不変の関係特徴を導入することで、識別力を向上させること。
• クロスモダリティ間のポジティブペアとネガティブペアの間のマージン制約をより厳密に設定する新しいクロスモダリティ四重損失を導入し、トレーニング中の特徴の識別性を向上させること。
• モダリティ共有外見特徴とモダリティ不変関係特徴を効果的に統合することで、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• マルチレベル2ストリームドモダリティ共有特徴抽出（MTMFE）サブネットワークを設計し、2次元共有特徴空間でモダリティ共有外見特徴を、3次元共有特徴空間でモダリティ不変関係特徴を抽出する。
• 2次元特徴空間は、共有畳み込み層を介してRGBおよびIR画像から識別的な外見特徴を捉える一方、3次元空間は、モダリティ間でのボディパーツ間の空間的関係をモデル化する。
• モダリティ不変関係特徴は、頭部-肩、肩-肘、股関節-膝、膝-足首といったキーボディパーツ間の相対的距離から導出され、RGBおよびIR画像の両方で一貫性を保つ。
• 外見特徴と関係特徴の2種類の特徴が統合され、最終的なモダリティ共有表現として統合され、クロスモダリティおよびイントラモダリティの変動を同時に低減する。
• ポジティブペアとネガティブペアの間のマージンをより大きく保証する新しいクロスモダリティ四重損失が導入され、トレーニング中の特徴の識別性が向上する。
• 特徴マップの可視化により、関連するボディパーツに注目していることが確認された。

Figure 1: Examples of cross-modality person Re-ID. (a) Query of IR images. (b) and (c) Matched RGB images corresponding to (a). (d) Query of RGB images. (e) and (f) Matched IR images corresponding to (d). Images marked by green boxes denote the right matches, while those marked by red boxes denote t

実験結果

リサーチクエスチョン

• RQ1 相対的ボディパーツ距離から導出されるモダリティ不変関係特徴を、モダリティ共有外見特徴と組み合わせることで、人間再識別性能が向上するか？
• RQ2 共有空間に2次元外見特徴と3次元関係特徴を統合することで、外見特徴のみを使用する場合に比べ、より優れたクロスモダリティ一般化性能が得られるか？
• RQ3 新規のクロスモダリティ四重損失は、標準的な三重損失を上回り、クロスモダリティの変動をさらに低減し、特徴の識別性を向上させられるか？
• RQ4 ベンチマークデータセットにおける異なる検索モード（例：すべての検索、屋内検索）において、本手法は最先端モデルと比較して、正確性と頑健性に優れているか？
• RQ5 外見が似ているが体形が異なる人物を、RGBおよびIRモダリティ間で識別するのに、モダリティ不変関係特徴はどの程度寄与するか？

主な発見

• SYSU-MM01データセットにおいて、シングルショット設定では88.7%のRank-1精度および76.4%のmAPを達成し、前回SOTAよりそれぞれ3.07%および2.11%高い性能を示した。
• SYSU-MM01のマルチショット設定では、92.1%のRank-1および81.3%のmAPを達成し、既存手法を一貫して上回った。
• SYSU-MM01の屋内検索モードでは、最高の性能を記録し、困難な環境下でも強い頑健性を示した。
• RegDBデータセットでは、可視光から赤外線へのモードで84.2%のmAP、赤外線から可視光へのモードで83.9%のmAPを達成し、両方向でバランスの取れた優れた性能を示した。
• アブレーションスタディにより、モダリティ共有外見特徴とモダリティ不変関係特徴を組み合わせることで最良の性能が得られ、単独で使用する場合を上回った。
• 提案されたクロスモダリティ四重損失は性能を顕著に向上させ、より強い最適化制約によりクロスモダリティの変動を効果的に低減していることが示された。

Figure 2: Illustrations of modality-invariant relations of different human body parts. (a) and (b) The RGB and IR images of a person. (c) and (d) The RGB and IR images of another person. The yellow lines mean the ratios of the distance of the head to the shoulder with that of the shoulder to the elb