[论文解读] Shape-Erased Feature Learning for Visible-Infrared Person Re-Identification

Jiawei Feng, Ancong Wu+1 more|arXiv (Cornell University)|Apr 9, 2023

Video Surveillance and Tracking Methods被引用 7

一句话总结

该论文提出 Shape-Erased Feature Learning 框架（SGIEL），通过正交子空间将 VI-ReID 表征分解为形状相关和形状去除两部分，从而发现超越身体形状的多样模态共用线索，提升跨模态再识别性能。

ABSTRACT

Due to the modality gap between visible and infrared images with high visual ambiguity, learning extbf{diverse} modality-shared semantic concepts for visible-infrared person re-identification (VI-ReID) remains a challenging problem. Body shape is one of the significant modality-shared cues for VI-ReID. To dig more diverse modality-shared cues, we expect that erasing body-shape-related semantic concepts in the learned features can force the ReID model to extract more and other modality-shared features for identification. To this end, we propose shape-erased feature learning paradigm that decorrelates modality-shared features in two orthogonal subspaces. Jointly learning shape-related feature in one subspace and shape-erased features in the orthogonal complement achieves a conditional mutual information maximization between shape-erased feature and identity discarding body shape information, thus enhancing the diversity of the learned representation explicitly. Extensive experiments on SYSU-MM01, RegDB, and HITSZ-VCM datasets demonstrate the effectiveness of our method.

研究动机与目标

• 激励学习多样的模态共用线索用于 VI-ReID，超越在可见/红外数据中高度模糊的身体形状。
• 提出一种形状去除特征学习范式，通过正交子空间分解实现形状相关与形状去除特征的去相关。
• 开发 SGIEL 框架以联合优化形状相关和形状去除的目标，提升模态共用表示。
• 利用来自预训练解析的身体形状先验来引导形状相关特征，同时鼓励发现其他判别线索。

提出的方法

• 通过半正交投影 P 将每个模态特征 z(i) 分解为形状相关 z_sr(i) 与形状去除 z_se(i)，其中 z_sr(i)=P^T z(i) 且 z_se(i)=(I−PP^T) z(i)。
• 施加正交性正则 L_ortho，促进 P^T P 在 L1 意义上近似单位矩阵（Eq. 3）。
• 通过最大化条件互信息 I(Z_se^(i); Y | X^(s)) 来最大化 I(Z_se^(i); Y)（Eq. 4）并最小化 I(Z_se^(i); Y; X^(s))；近似估计通过交叉熵损失和均方误差引导（Eq. 5, 9, 11）。
• 学习 Z_sr^(i) 以模仿 Z^(s)（身体形状表示）并通过最小化 L_srmse 与 L_srkl（Eq. 12）实现。
• 通过跨模态对齐损失 L_sekl 以及跨模态最小化交叉熵损失来消除 Z_se^(i) 中的模态特异信息（Eq. 16）。
• 训练一个联合目标 L_train，包含 L_int（身份、三元组与跨模态 KL 损失）、L_sr、L_se、L_ortho 以及 L_sid，并采用基于梯度范数的动态重新加权方案 α_t^sr、α_t^se（Eq. 19–20）。

实验结果

研究问题

• RQ1 在 VI-ReID 特征中抹去身体形状信息是否会导致主动发现超越身体形状的其他模态共用线索？
• RQ2 将特征在形状相关与形状去除子空间中进行正交分解是否能改善跨模态判别并减少模态特异偏差？
• RQ3 联合优化形状相关与形状去除目标对标准基准的 VI-ReID 性能有何影响？
• RQ4 身体形状先验与语义解析对引导形状相关特征相对于纯数据驱动表示有何影响？

主要发现

• SGIEL 在 SYSU-MM01、RegDB 与 HITSZ-VCM 数据集上达到接近甚至领先于最新的 VI-ReID 结果，且在参数规模相当的情况下优于若干基线。
• 消除身体形状的形状去除学习在 Rank-1 与 mAP 上相较于未去除形状的基线显示出可观的改进。
• 对两个子空间的正交约束有益；去除正交性会显著退化性能，而在消融实验（表 4–5）中使用单一尺寸为 512 的投影 P 的正交设计取得最佳结果。
• 可视化显示形状相关目标关注身体轮廓，而形状去除目标关注互补区域，支持学习多样线索的观点（Grad-CAM++ 可视化）。
• 在 SYSU-MM01（单镜头）中，Our 在 1x 参数设置下的 All Search 的 Rank-1、mAP 为 75.18、70.12，Indoor Search 的 mAP 为 81.20；若采用拼接（C），则达到 77.12 的 Rank-1、72.33 的 mAP（All Search）和 82.95 的 mAP（Indoor Search）。
• 将该方法推广至 RegDB 与 HITSZ-VCM，显示相对于基线与若干先前方法的竞争性提升（表 1–3）。