[論文レビュー] Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person Re-Identification

Haijun Liu, Jian Cheng|arXiv (Cornell University)|Jul 23, 2019

Video Surveillance and Tracking Methods参考文献 30被引用数 10

ひとこと要約

本論文は、スキップ接続によるミドルレベル特徴の統合とデュアルモダリティトリプレット損失を用いて、可視赤外線人間再識別における特徴の判別力向上を図るシンプルだが効果的な手法、Enhancing Discriminative Feature Learning (EDFL) を提案する。EDFL は、RegDB および SYSU-MM01 データセットの両方で最先端の性能を達成し、従来手法を大きく上回る。

ABSTRACT

Existing person re-identification has achieved great progress in the visible domain, capturing all the person images with visible cameras. However, in a 24-hour intelligent surveillance system, the visible cameras may be noneffective at night. In this situation, thermal cameras are the best supplemental components, which capture images without depending on visible light. Therefore, in this paper, we investigate the visible-thermal cross-modality person re-identification (VT Re-ID) problem. In VT Re-ID, there are two knotty problems should be well handled, cross-modality discrepancy and intra-modality variations. To address these two issues, we propose focusing on enhancing the discriminative feature learning (EDFL) with two extreme simple means from two core aspects, (1) skip-connection for mid-level features incorporation to improve the person features with more discriminability and robustness, and (2) dual-modality triplet loss to guide the training procedures by simultaneously considering the cross-modality discrepancy and intra-modality variations. Additionally, the two-stream CNN structure is adopted to learn the multi-modality sharable person features. The experimental results on two datasets show that our proposed EDFL approach distinctly outperforms state-of-the-art methods by large margins, demonstrating the effectiveness of our EDFL to enhance the discriminative feature learning for VT Re-ID.

研究の動機と目的

• 可視カメラが夜間に機能しない24時間監視システムにおける可視赤外線モダリティ間の人間再識別（VT Re-ID）の課題に対処する。
• VT Re-ID の2つの主要な障壁、異なるセンシングモダリティに起因する大きなモダリティ間差異と、ポーズや視点の変化に起因するモダリティ内変動を克服する。
• ミドルレベル表現に注目し、モダリティ内およびモダリティ間制約を同時にモデル化する新しい学習目的を用いることで、判別力の高い特徴学習を向上させる。
• 単純なアーキテクチャ的工夫（スキップ接続）と新しい損失関数（DMTL）の組み合わせが、複雑な最先端手法を顕著に上回ることを示す。

提案手法

• 共有層を備えた二ストリーム畳み込みニューラルネットワーク（CNN）アーキテクチャを採用し、モダリティ固有の特徴を抽出して共有特徴空間に埋め込むことで、マルチモダリティ共有表現学習を可能にする。
• ミドルレベル畳み込み層からのスキップ接続を導入し、特徴を連結・強化することで、特徴のロバスト性と意味的豊かさを向上させる。
• モダリティ内距離を最小化するとともにモダリティ間マージンを最大化するデュアルモダリティトリプレット損失（DMTL）を提案し、モダリティ内変動とモダリティ間差異の両方を明示的にモデル化する。
• ミニバッチ内でハードトリプレットマイニングを実装：各P体の個人について、K枚の可視画像とK枚の赤外線画像をサンプリングし、バッチサイズを2PKに設定することで、ハードな正例の有効なマイニングを可能にする。
• DMTL損失を用いたエンドツーエンド最適化によりモデルを訓練し、ネットワークがモダリティおよびポーズ変動に対して不変な判別力の高い特徴を学習するように促進する。
• Grad-CAM を用いて注意マップを可視化し、ネットワークの異なる層が関連する身体部位に注目していることを確認することで、ミドルレベル特徴統合の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続によるミドルレベル特徴統合は、可視赤外線モダリティ間設定における人間再識別特徴の判別力を顕著に向上させることができるか？
• RQ2 モダリティ内およびモダリティ間制約を同時にモデル化するデュアルモダリティトリプレット損失は、従来のコントラスト損失やトリプレット損失と比較して、より優れた一般化性能を達成するか？
• RQ3 本手法は、異なるデータセットおよびクエリ設定において、最先端手法と比較して性能およびロバスト性に優れているか？
• RQ4 単純なアーキテクチャ的工夫（スキップ接続）と新しい損失関数（DMTL）の組み合わせが、敵対的学習や画像変換モジュールを備えた複雑なモデルを凌駆することができるか？

主な発見

• 提案手法EDFLは、RegDB データセットでRank-1精度52.58%、mAP 52.98%を達成し、以前の最先端手法D2RLをそれぞれ9.18ポイントおよび8.88ポイント上回った。
• SYSU-MM01 データセットでは、EDFLが36.94%のRank-1および40.77%のmAPを達成し、D2RLを8.04ポイントおよび11.57ポイント上回った。これは一貫した優位性を示している。
• アブレーションスタディにより、ミドルレベル特徴統合（MFI）とデュアルモダリティトリプレット損失（DMTL）の両方が独立して性能向上をもたらし、組み合わせで最も優れた結果が得られたことが確認された。
• ResNet50をバックボーンとするベースラインモデルに、提案されたサンプリング戦略を適用するだけで、AlexNetを用いK=1のサンプリング戦略を採用するDCTRを上回った。これはバックボーン選択とハードマイニングの重要性を示している。
• クエリを可視から赤外線（赤外線から可視）に切り替えた場合、EDFLはRegDBでRank-1 51.89%、mAP 52.13%を達成し、DMTL損失の対称性に起因する強い双方向一般化性能を示した。
• 敵対的学習や画像変換を一切用いないにもかかわらず、cmGAN や D2RL（両者ともResNet50と補助タスクを用いる）を上回った。これは、コアコンponents（スキップ接続とDMTL）の有効性を裏付けている。