[論文レビュー] Cross-modality Person re-identification with Shared-Specific Feature Transfer

Yan Lu, Yue Wu+5 more|arXiv (Cornell University)|Feb 28, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 23

ひとこと要約

本稿では、アフィニティに基づく特徴転送を通じて、モダリティ共有特徴とモダリティ固有特徴を統合的に活用する、新しいクロスモダリティ人物再識別手法cm-SSFTを提案する。相互および内部モダリティの近隣アフィニティをモデル化することで、RGBおよび赤外モダリティ間で補完的特徴を効果的に伝達し、SYSU-MM01とRegDBでそれぞれ22.5%および19.3%のmAP向上を達成し、最先端性能を実現した。

ABSTRACT

Cross-modality person re-identification (cm-ReID) is a challenging but key technology for intelligent video analysis. Existing works mainly focus on learning common representation by embedding different modalities into a same feature space. However, only learning the common characteristics means great information loss, lowering the upper bound of feature distinctiveness. In this paper, we tackle the above limitation by proposing a novel cross-modality shared-specific feature transfer algorithm (termed cm-SSFT) to explore the potential of both the modality-shared information and the modality-specific characteristics to boost the re-identification performance. We model the affinities of different modality samples according to the shared features and then transfer both shared and specific features among and across modalities. We also propose a complementary feature learning strategy including modality adaption, project adversarial learning and reconstruction enhancement to learn discriminative and complementary shared and specific features of each modality, respectively. The entire cm-SSFT algorithm can be trained in an end-to-end manner. We conducted comprehensive experiments to validate the superiority of the overall algorithm and the effectiveness of each component. The proposed algorithm significantly outperforms state-of-the-arts by 22.5% and 19.3% mAP on the two mainstream benchmark datasets SYSU-MM01 and RegDB, respectively.

研究の動機と目的

• RGBにおける色や赤外における熱画像といった、判別性の高いモダリティ固有の特徴を失うことがある、クロスモダリティ人物再識別におけるモダリティ共有特徴学習の限界を解消すること。
• 生成的手法が欠落したモダリティ固有特徴を補完する際の曖昧さと不安定性を、近隣に基づく情報伝達により克服すること。
• 共有特徴と固有特徴を効果的に統合するエンドツーエンド学習可能なフレームワークを構築し、特徴の判別性と耐障害性を向上させること。
• 補助データが限られているか存在しない低データ量またはシングルクエリの状況でも、効果的な特徴学習を可能にすること。

提案手法

• 共有特徴に基づいて内部および跨モダリティのサンプル間のアフィニティをモデル化する、共有・固有特徴転送（SSTN）モジュールを導入し、モダリティ間および内部で情報伝達を実現する。
• k近傍法を用いて、特徴転送に適した関連サンプルを同定し、各サンプルが両モダリティの近隣から補完的特徴を受けることを保証する。
• モダリティ適応、プロジェクト adversarial 学習、再構成強化を組み合わせた補完的特徴学習戦略を設計し、各モダリティの判別性と補完性の高い特徴を抽出する。
• 再構成デコーダーを実装し、共有特徴と固有特徴の特徴的差異を可視化・検証することで、それらの補完的性質を確認する。
• 特徴表現の向上を目的に、三重損失と再構成損失を統合したジョイント損失を用いて、cm-SSFTフレームワークをエンドツーエンドで学習する。
• シングルクエリの状況に対応するため、アフィニティ行列の安定化とクエリの影響力の強化を図り、補助データが最小限であっても高い性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 相互および内部モダリティのアフィニティを統合的にモデル化することで、クロスモダリティ人物再識別における特徴転送と表現力が向上するか？
• RQ2 近隣に基づく伝達によってモダリティ固有特徴を組み込むことで、従来のモダリティ共有特徴学習を上回る性能が得られるか？
• RQ3 補完的学習戦略は、共有および固有のコンポonentから判別性が高く重複のない特徴を効果的に抽出できるか？
• RQ4 補助データが乏しい低データ量またはシングルクエリの現実世界のシナリオにおいて、提案手法はどれほど耐障害性を示すか？
• RQ5 提案された特徴転送機構は、最先端手法と比較してどれほど特徴の判別性を向上させるか？

主な発見

• 提案されたcm-SSFT手法は、SYSU-MM01ベンチマークで最先端手法を22.5%上回るmAP向上を達成し、顕著に優れた性能を示した。
• RegDBデータセットでは19.3%のmAP向上を達成し、多様なクロスモダリティ設定に強い汎化性能を示した。
• SYSU-MM01ではRank-1精度が19.2%向上、RegDBでは14.4%向上し、判別力の向上を確認した。
• データオーグメンテーションを用いずとも、SOTA性能を達成し、SYSU-MM01では10.0%、RegDBでは4.3%のRank-1向上を示した。これは、本手法の本質的有効性を裏付けた。
• 可視化結果から、共有特徴と固有特徴が補完的であることが確認された：共有特徴は構造的一致性を保持し、固有特徴は色や熱画像パターンといったモダリティ固有の詳細を捉えていた。
• シングルクエリの状況でも、アフィニティ行列の安定化により高い性能を維持し、補助情報が限られているにもかかわらず、SOTAおよびベースラインモデルを上回る結果を得た。