[論文レビュー] SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification

Haojie Liu, Shun Ma+2 more|arXiv (Cornell University)|Feb 24, 2021

Video Surveillance and Tracking Methods参考文献 18被引用数 6

ひとこと要約

本稿では、可視赤外線人物再識別のためのスペクトルに配慮した特徴拡張ネットワーク、SFANetを提案する。RGB入力をグレースケール・スペクトル画像に置き換えることで、モダリティ差を低減しつつ構造的詳細を保持する。パラメータ共有の二重パスバックボーン、双方向三制約付きトッププッシュ順序付け損失（BTTR損失）、バッチ正規化を施した二重線形ID埋め込みを統合することで、SYSU-MM01およびRegDBで最先端性能を達成し、それぞれRank-1精度が89.7%および74.8%を記録した。

ABSTRACT

Visible-Infrared person re-identification (VI-ReID) is a challenging matching problem due to large modality varitions between visible and infrared images. Existing approaches usually bridge the modality gap with only feature-level constraints, ignoring pixel-level variations. Some methods employ GAN to generate style-consistent images, but it destroys the structure information and incurs a considerable level of noise. In this paper, we explicitly consider these challenges and formulate a novel spectrum-aware feature augementation network named SFANet for cross-modality matching problem. Specifically, we put forward to employ grayscale-spectrum images to fully replace RGB images for feature learning. Learning with the grayscale-spectrum images, our model can apparently reduce modality discrepancy and detect inner structure relations across the different modalities, making it robust to color variations. In feature-level, we improve the conventional two-stream network through balancing the number of specific and sharable convolutional blocks, which preserve the spatial structure information of features. Additionally, a bi-directional tri-constrained top-push ranking loss (BTTR) is embedded in the proposed network to improve the discriminability, which efficiently further boosts the matching accuracy. Meanwhile, we further introduce an effective dual-linear with batch normalization ID embedding method to model the identity-specific information and assits BTTR loss in magnitude stabilizing. On SYSU-MM01 and RegDB datasets, we conducted extensively experiments to demonstrate that our proposed framework contributes indispensably and achieves a very competitive VI-ReID performance.

研究の動機と目的

• 可視画像と赤外線画像の間の大きなモダリティ差を是正すること。
• GANベースの画像生成に依存せず、構造的詳細を歪めることなくクロスモダリティ差を低減すること。
• 特徴レベルおよび分類器レベルでの強力な監視により、特徴の識別能を向上させること。
• パラメータ共有の二重パス残差ネットワークアーキテクチャを用いて空間的構造情報の保持を図ること。
• バッチ正規化を施した二重線形ID埋め込みにより、学習の安定性とアイデンティティ表現を向上させること。

提案手法

• 本手法は、可視画像の完全な構造的情報を保持しつつ、赤外線画像のスタイルに近似するグレースケール・スペクトル画像を特徴拡張戦略として導入する。
• パラメータを共有する二重パス・残差ネットワークを用いて、異なるモダリティ間で3次元的形状の空間的構造情報を保持する。
• 双方向三制約付きトッププッシュ順序付け（BTTR）損失を提案し、可視および赤外線両ストリームでハードポジティブおよびハードネガティブサンプルを同時に最適化する。
• 訓練の安定性とアイデンティティ固有の特徴学習の向上を目的に、バッチ正規化を施した二重線形ID埋め込みを導入する。
• ミニバッチごとに多様なアイデンティティをサンプリングするPKサンプリング戦略を用いてネットワークを学習させ、一般化性能を向上させる。
• エンドツーエンドでアイデンティティ損失とBTTR損失を最適化することで、強力なクロスモダリティ特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 グレースケール・スペクトル画像拡張は、構造的詳細を歪めることなく、可視赤外線人物再識別におけるモダリティ差を効果的に低減できるか？
• RQ2 パラメータ共有の二重パスネットワークアーキテクチャは、クロスモダリティ特徴学習における空間的構造の保持をどのように向上させるか？
• RQ3 標準的な三重損失と比較して、双方向三制約付きトッププッシュ順序付け損失は特徴の識別能をどの程度向上させるか？
• RQ4 バッチ正規化を施した二重線形ID埋め込みは、VI-ReIDにおける学習の安定性とアイデンティティ表現を向上させられるか？
• RQ5 本手法は、GANベースの画像翻訳手法と比較して、特徴品質および精度の面でどのように異なるか？

主な発見

• SYSU-MM01データセットでは、SFANetがRank-1精度89.7%、mAP 74.8%を達成し、先行する最先端手法を上回った。
• RegDBデータセットでは、モデルがRank-1精度74.8%、mAP 67.5%を達成し、ドメイン間での強力な一般化性能を示した。
• アブレーションスタディの結果、グレースケール・スペクトル拡張戦略がモダリティ差を顕著に低減し、特徴の凝縮性を向上させた。
• ハードマイニングを組み込んだBTTR損失は、標準的な三重損失の変種よりも高い性能を示し、tri-hardバージョンではSYSU-MM01で62.45%のRank-1精度を達成した。
• ID埋め込み層にバッチ正規化を組み込むことで、学習が安定化し、損失曲線が滑らかになり、最適化収束が向上した。
• 可視化結果から、本モデルは外観およびモダリティの大きな変化に対しても正しいアイデンティティを効果的に検索でき、色および構造的変化に対して高い耐性を示した。