[論文レビュー] RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

Ziyue Zhang, Shuai Jiang+3 more|arXiv (Cornell University)|Jul 15, 2020

Video Surveillance and Tracking Methods参考文献 35被引用数 9

ひとこと要約

本論文は、RGB-IRクロスモダリティ人物再識別のための教師学生GANモデル（TS-GAN）を提案する。事前学習済みIR ReID教師モデルを用いて、マルチレベル特徴蒸留とサイクル整合性のあるGAN生成IR画像を通じて、学生ReIDバックボーンをガイドする。本手法は、SYSU-MM01ベンチマークで49.8%のRank-1および47.4%のmAPを達成し、推論効率が高く、テスト時にGANを一切使用しないにもかかわらずSOTAを上回る性能を発揮する。

ABSTRACT

RGB-Infrared (RGB-IR) person re-identification (ReID) is a technology where the system can automatically identify the same person appearing at different parts of a video when light is unavailable. The critical challenge of this task is the cross-modality gap of features under different modalities. To solve this challenge, we proposed a Teacher-Student GAN model (TS-GAN) to adopt different domains and guide the ReID backbone to learn better ReID information. (1) In order to get corresponding RGB-IR image pairs, the RGB-IR Generative Adversarial Network (GAN) was used to generate IR images. (2) To kick-start the training of identities, a ReID Teacher module was trained under IR modality person images, which is then used to guide its Student counterpart in training. (3) Likewise, to better adapt different domain features and enhance model ReID performance, three Teacher-Student loss functions were used. Unlike other GAN based models, the proposed model only needs the backbone module at the test stage, making it more efficient and resource-saving. To showcase our model's capability, we did extensive experiments on the newly-released SYSU-MM01 RGB-IR Re-ID benchmark and achieved superior performance to the state-of-the-art with 49.8% Rank-1 and 47.4% mAP.

研究の動機と目的

• 監視環境におけるRGBと赤外（IR）人物画像間の顕著なクロスモダリティドメインギャップに対処する。
• 人物ReIDにおける限られたIR画像情報とモダリティの不一致の課題を克服する。
• ペア学習データへの依存を低減し、効率性を確保するため、テスト時にGAN推論を回避する。
• 事前学習済みIR ReID教師モデルを活用して、学生ReIDバックボーンの特徴表現を向上させる。
• マルチレベルの知識蒸留と共同判別器訓練を通じて、モデルの汎化性能と性能を向上させる。

提案手法

• 実際のRGB入力を用いて、サイクル整合性のあるGANを共同判別器で訓練し、リアルな偽IR画像を生成することで、ペア化されたRGB-IR学習データを構築する。
• 実際のIR画像上でIR ReID教師モデルを事前学習し、高い精度を達成するとともに、特徴の監視源として機能させる。
• 3種類の知識蒸留損失を実装する：(1) 学生内の実RGBと偽IR特徴の間、(2) 学生と教師における実IRと偽IR特徴の間、(3) 学生と教師における実IR特徴の間。
• ReID特徴の現実性を敵対的訓練に組み込むことで、共同判別器を用いて画像生成品質を向上させる。
• 三重の損失（トリプルット損失、クロスエントロピー損失、および3つの蒸留損失）を用いて学生ReIDバックボーンを訓練し、モダリティ間の特徴を整合させる。
• テスト時にはReIDバックボーンのみをデプロイし、GAN推論を排除することで効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みIR ReID教師モデルからの知識蒸留が、RGB-IR人物再識別におけるクロスモダリティ特徴整合を改善できるか？
• RQ2 ペア実データを必要としないGANベースの合成IR画像生成は、モダリティギャップを低減するのにどの程度有効か？
• RQ3 ReID特徴フィードバックを統合した生成器と判別器の共同訓練は、画像の現実性とReID性能の両方を向上させるか？
• RQ4 マルチレベルの蒸留損失（特徴レベルおよび再構成レベル）は、一般化性能と精度を顕著に向上させられるか？
• RQ5 提案されたTS-GANモデルは、テスト時にGAN推論を排除しても高い性能を維持できるか？

主な発見

• 提案されたTS-GANモデルは、SYSU-MM01ベンチマークで49.8%のRank-1および47.4%のmAPを達成し、SOTA手法を上回る性能を発揮した。
• 共同判別器とすべての蒸留損失を備えたTS-GAN（TS-GAN_JD_allTS）は、49.8%のRank-1精度を達成し、ベースラインReIDバックボーン比で8.4%の向上を示した。
• 再ランク処理を適用することで、性能はさらに向上し、Rank-1が58.3%、mAPが55.1%にまで上昇した。これは、モデルの頑健性と一般化能力を示している。
• IR教師モジュールは単一モダリティIRテストセットで98.0%のRank-1を達成し、強力な特徴学習能力を裏付けた。
• 可視化結果から、生成された偽IR画像が現実的であることが確認され、モデルがモダリティギャップを効果的に低減していることが示されたが、低品質または遮蔽のあるIR画像では性能が低下した。
• アブレーションスタディの結果、すべての蒸留損失を追加することで性能が段階的に向上し、特に共同判別器が最大の向上をもたらした。