[論文レビュー] Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification

Xinyu Lin, Jinxing Li+6 more|arXiv (Cornell University)|Aug 4, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、敵対的学習を用いてモダリティ不変特徴を学習し、時間的メモリ精錬モジュールを通じて運動不変時系列メモリを捉えることで、ビデオベースの可視赤外（RGB-IR）人物再識別手法MITMLを提案する。新たに構築されたHITSZ-VCMデータセットにおいて、MITMLは最先端の性能を達成し、赤外から可視への検索でR1が64.62%、mAPが47.32%を記録し、既存の画像ベース手法を著しく上回った。

ABSTRACT

Thanks for the cross-modal retrieval techniques, visible-infrared (RGB-IR) person re-identification (Re-ID) is achieved by projecting them into a common space, allowing person Re-ID in 24-hour surveillance systems. However, with respect to the probe-to-gallery, almost all existing RGB-IR based cross-modal person Re-ID methods focus on image-to-image matching, while the video-to-video matching which contains much richer spatial- and temporal-information remains under-explored. In this paper, we primarily study the video-based cross-modal person Re-ID method. To achieve this task, a video-based RGB-IR dataset is constructed, in which 927 valid identities with 463,259 frames and 21,863 tracklets captured by 12 RGB/IR cameras are collected. Based on our constructed dataset, we prove that with the increase of frames in a tracklet, the performance does meet more enhancement, demonstrating the significance of video-to-video matching in RGB-IR person Re-ID. Additionally, a novel method is further proposed, which not only projects two modalities to a modal-invariant subspace, but also extracts the temporal-memory for motion-invariant. Thanks to these two strategies, much better results are achieved on our video-based cross-modal person Re-ID. The code and dataset are released at: https://github.com/VCMproject233/MITML.

研究の動機と目的

• 可視および赤外モダリティにおける空間的および時間的情報を両方活用するビデオベースのクロスモダリティ人物再識別手法が不足している問題に対処すること。
• 12台のカメラを用い、927体の人物と463,259フレームを含む大規模なビデオベースRGB-IR人物再識別データセット（HITSZ-VCM）を構築すること。
• RGBとIRモダリティ間のドメインギャップを低減するため、モダリティ不変特徴を学習する手法を開発すること。
• より良いビデオレベル特徴学習を実現するため、運動不変時系列表現を抽出すること。
• 実証的評価を通じて、ビデオベース手法が画像ベース手法を上回ることを示すこと。

提案手法

• RGBおよびIR特徴を共有のモダリティ不変部分空間に投影するための新しい敵対的学習戦略を採用し、モダリティ固有のバイアスを低減する。
• 時間的メモリ精錬（TMR）モジュールを設計し、動画フレーム間での運動の一貫性を捉えることで、判別性の高い時系列モデリングを強化する。
• TMRモジュールは、時系列特徴を格納および更新するメモリバンクを備え、運動不変表現を精錬するための学習可能なアテンション機構を用いる。
• トリプレット損失とコントラスト損失を組み合わせたマルチタスク損失関数を採用し、ハイパーパrameter λ を用いて両者をバランスさせる。この損失関数はエンド・トゥ・エンドの訓練により最適化される。
• 本モデルは、12台の同期カメラから得られた11,785本のRGBおよび10,078本のIRトラックレットを用い、新しいビデオベースRGB-IRデータセット（HITSZ-VCM）上で訓練および評価される。
• アブレーションスタディにより、モダリティ不変学習および時系列メモリ精錬の有効性が検証され、λ=0.4で最適な性能が得られた。

実験結果

リサーチクエスチョン

• RQ1 ビデオベースのクロスモダリティ人物再識別は、可視赤外人物再識別において、画像ベース手法に比べて顕著に性能を向上させるか？
• RQ2 敵対的学習は、ビデオ再識別におけるRGBと赤外モダリティ間のドメインギャップを効果的に低減できるか？
• RQ3 時間的メモリ精錬モジュールは、ビデオ再識別における運動不変特徴を捉えるのにどの程度有効か？
• RQ4 提案されたMITMLフレームワークにおいて、トリプレット損失とコントラスト損失の最適なバランスは何か？
• RQ5 提案手法は、トラックレット長の変動およびモダリティの不均衡に対して頑健か？

主な発見

• HITSZ-VCMデータセットには927体の人物、463,259フレーム、21,863本のトラックレットが含まれており、訓練用に500体、テスト用に427体が割り当てられており、既存の画像ベースデータセットよりも顕著に大規模である。
• より長いトラックレットを用いたビデオベース再識別は、より高い性能を示し、クロスモダリティマッチングにおける時間的情報の価値を裏付けた。
• MITMLは、赤外から可視への検索でR1が64.62%、mAPが47.32%を達成し、2番目に優れた手法（CAJL）をR1で7.15%、mAPで3.82%上回った。
• 最適な損失重みλ=0.4が最良の性能をもたらし、λの値が変化しても結果が安定していることから、モデルの頑健性が示された。
• 最大プーリングおよび平均プーリングはベースラインにおいて重み付きプーリングを上回ったことから、ビデオレベル特徴の集約において単純な手法がより効果的であることが示唆された。
• アブレーションスタディにより、モダリティ不変学習および時系列メモリ精錬の両方が性能向上に不可欠であることが確認された。