[論文レビュー] Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification

Xing Fan, Hao Luo+2 more|arXiv (Cornell University)|Feb 29, 2020

Video Surveillance and Tracking Methods参考文献 53被引用数 14

ひとこと要約

本論文では、RGB赤外人物再識別のためのワンストリームディープラーニングモデルであるCross-Spectrum Dual-Subspace Pairing（CDP）を提案する。マルチスペクトル画像生成とデュアルサブスペースペアリングを通じて、クロスモダリティ特徴学習を強化することで、モダリティ差違を低減する。実際の画像と生成されたサンプルをペアリングすることで、モダリティ差違を軽減し、RegDBデータセット上でランク-1正答率65.0%、mAP62.7%を達成し、最先端性能を実現した。

ABSTRACT

Due to its potential wide applications in video surveillance and other computer vision tasks like tracking, person re-identification (ReID) has become popular and been widely investigated. However, conventional person re-identification can only handle RGB color images, which will fail at dark conditions. Thus RGB-infrared ReID (also known as Infrared-Visible ReID or Visible-Thermal ReID) is proposed. Apart from appearance discrepancy in traditional ReID caused by illumination, pose variations and viewpoint changes, modality discrepancy produced by cameras of the different spectrum also exists, which makes RGB-infrared ReID more difficult. To address this problem, we focus on extracting the shared cross-spectrum features of different modalities. In this paper, a novel multi-spectrum image generation method is proposed and the generated samples are utilized to help the network to find discriminative information for re-identifying the same person across modalities. Another challenge of RGB-infrared ReID is that the intra-person (images from the same person) discrepancy is often larger than the inter-person (images from different persons) discrepancy, so a dual-subspace pairing strategy is proposed to alleviate this problem. Combining those two parts together, we also design a one-stream neural network combining the aforementioned methods to extract compact representations of person images, called Cross-spectrum Dual-subspace Pairing (CDP) model. Furthermore, during the training process, we also propose a Dynamic Hard Spectrum Mining method to automatically mine more hard samples from hard spectrum based on the current model state to further boost the performance. Extensive experimental results on two public datasets, SYSU-MM01 with RGB + near-infrared images and RegDB with RGB + far-infrared images, have demonstrated the efficiency and generality of our proposed method.

研究の動機と目的

• 低照度条件下におけるRGBと赤外画像間のモダリティ差違の課題に対処すること。
• スペクトル差違に起因して、しばしば内人距離が外人距離を上回る問題を、共通のクロススペクトル特徴を学習することで低減すること。
• 統合されたワンストリームネットワークアーキテクチャにより、特徴のコンパクト性と識別性を向上させること。
• モデルの状態に基づいてハードサンプルを動的にマイニングすることで、訓練効率と一般化性能を向上させること。
• クロススペクトル画像生成が、トレーニングの多様性を豊かにし、モダリティ間の特徴整合性を向上させる有効性を示すこと。

提案手法

• クロススペクトル画像生成法により、RGBと赤外画像を組み合わせてマルチスペクトルトレーニングサンプルを合成し、トレーニング中のモダリティ多様性を向上させる。
• デュアルサブスペースペアリング戦略により、同じ人物の異なるスペクトルの実画像と生成画像をペアリングし、ネットワークがモダリティ不変特徴に注目できるようにする。
• ワンストリーム畳み込みニューラルネットワークにより、画像生成とペアリング戦略を統合し、モダリティ間でコンパクトで共有される表現を学習する。
• ダイナミックハードスペクトルマイニングは、現在のモデルパフォーマンスに基づいてハードサンプルを自動的に同定・優先処理し、特徴の識別性を向上させる。
• モデルはt-SNE可視化により特徴クラスタリングの向上が確認できる、PKサンプリング戦略とトリプレット損失関数を用いて特徴埋め込みを最適化する。
• 本手法は公開データセット上でエンドツーエンドにトレーニングされ、RGBチャネルの均一性の必要性をアブレーションスタディで検証した。YUVやHSVなどの代替色空間は、トレーニング不能であることが判明した。

実験結果

リサーチクエスチョン

• RQ1 マルチスペクトル画像生成により、トレーニングにおけるモダリティ多様性を高めることで、RGB赤外人物再識別における特徴学習が向上するか？
• RQ2 デュアルサブスペースペアリングは、モダリティ不変特徴に注目することで、内人距離を効果的に低減するか？
• RQ3 ワンストリームネットワークアーキテクチャは、より単純なトレーニングで、二ストリームまたは二段階手法を上回る性能を示せるか？
• RQ4 ダイナミックハードスペクトルマイニングは、トレーニング中のモデル状態に適応することで、モデル一般化性能を向上させるか？
• RQ5 YUV や HSV などの代替色空間は、本クロススペクトルフレームワークでなぜ収束しないのか？

主な発見

• RegDBデータセットでは、提案されたCDPモデルがランク-1正答率65.0%、mAP62.7%を達成し、前回の最先端手法（50.9%、47.0%）を顕著に上回った。
• SYSU-MM01データセットでも、CDPはランク-1正答率36.2%、mAP37.5%を達成し、データセットをまたいで一貫した性能向上を示した。
• t-SNE可視化により、CDPが同じ人物のマルチスペクトル画像を統一された特徴分布にマップし、内人距離を低減し、外人距離を増加させていることが確認された。
• アブレーションスタディにより、RGBの代わりにYUVやHSV色空間を使用すると、チャネル非均一性と事前学習の不適合性によりトレーニングに失敗することが判明した。
• クロススペクトル画像生成法は、モダリティ数が増加するにつれて性能向上を示し、より豊かなスペクトル多様性が特徴学習を強化することを示した。
• ダイナミックハードスペクトルマイニング戦略は、モデルの現在状態に適応し、困難なサンプルに注目することで、性能を効果的に向上させた。