[论文解读] Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification

Yujian Feng, Feng Chen+5 more|arXiv (Cornell University)|Sep 18, 2021

Video Surveillance and Tracking Methods参考文献 31被引用 7

一句话总结

本文提出了一种基于图的新颖框架，用于可见光-红外行人重识别（visible-infrared person re-identification），该框架同时建模同模态内部关系（可见光或红外图像内部）与异模态相关性（可见光与红外特征之间）。通过引入用于全局身份表征的同构结构图（HOSG），以及基于路径搜索的异构图对齐模块（HGAM）以实现跨模态匹配，并结合跨模态交叉相关损失（CMCC）以增强模态不变性，该方法在SYSU-MM01和RegDB数据集上分别实现了13.73%和9.45%的Rank-1/mAP性能提升，达到当前最优水平。

ABSTRACT

Visible-infrared person re-identification (VI Re-ID) aims to match person images between the visible and infrared modalities. Existing VI Re-ID methods mainly focus on extracting homogeneous structural relationships in an image, i.e. the relations between local features, while ignoring the heterogeneous correlation of local features in different modalities. The heterogeneous structured relationship is crucial to learn effective identity representations and perform cross-modality matching. In this paper, we model the homogenous structural relationship by a modality-specific graph within individual modality and then mine the heterogeneous structural correlation with the modality-specific graph of visible and infrared modality. First, the homogeneous structured graph (HOSG) mines one-vs.-rest relation between an arbitrary node (local feature) and all the rest nodes within a visible or infrared image to learn effective identity representation. Second, to find cross-modality identity-consistent correspondence, the heterogeneous graph alignment module (HGAM) further measures the relational edge strength between local node features of two modalities with routing search way. Third, we propose the cross-modality cross-correlation (CMCC) loss to extract the modality invariance of feature representations of visible and infrared graphs. CMCC computes the mutual information between modalities and expels semantic redundancy. Extensive experiments on SYSU-MM01 and RegDB datasets demonstrate that our method outperforms state-of-the-arts with a gain of 13.73\% and 9.45\% Rank1/mAP. The code is available at https://github.com/fegnyujian/Homogeneous-and-Heterogeneous-Relational-Graph.

研究动机与目标

• 为解决现有VI Re-ID方法仅关注同模态（同构）关系而忽略可见光与红外特征之间异模态（异构）相关性的局限性。
• 通过使用同构结构图（HOSG）对每种模态内局部特征的“一对一其余”关系进行建模，以改善身份表征。
• 通过基于路径搜索的异构图对齐模块（HGAM）识别可见光与红外特征之间的最具判别性的节点对节点对应关系，实现有效的跨模态对齐。
• 通过设计一种跨模态交叉相关（CMCC）损失，以最大化模态间的互信息，从而减少模态特异性冗余并增强模态不变表征。

提出的方法

• HOSG通过使用‘一对一其余’聚合方式建模每个局部特征节点与其他所有节点的关系，在每种模态（可见光或红外）内构建图结构，从而增强全局身份表征。
• HGAM利用路径搜索算法计算不同模态节点之间的最小能量路径，识别最具判别性的跨模态对应关系，而非评估所有可能的边。
• CMCC损失旨在最大化可见光与红外特征表征之间的互信息，促进模态不变性并减少语义冗余。
• 整体框架端到端集成HOSG、HGAM与CMCC损失，以ResNet-50作为主干网络，采用联合损失目标进行训练。
• 该方法利用2N×2N的邻接矩阵同时表示同模态与异模态关系，但通过聚焦于显著且能量最小化的路径来优化计算效率。
• 模型在标准VI Re-ID基准数据集SYSU-MM01与RegDB上进行训练与评估，辅以消融研究与t-SNE可视化，以验证设计选择的有效性。

实验结果

研究问题

• RQ1 如何有效建模可见光与红外图像内部的同模态结构关系，以提升VI Re-ID中的身份表征？
• RQ2 在可见光与红外模态之间对齐局部特征的最有效方式是什么，以建立身份一致的对应关系？
• RQ3 基于路径搜索的方法是否能在效率与判别性能方面优于全面计算跨模态边的方法？
• RQ4 通过专用损失最大化模态间互信息在多大程度上能提升特征不变性并减少冗余？
• RQ5 HOSG、HGAM与CMCC等各组件对跨模态行人重识别整体性能提升的贡献分别是什么？

主要发现

• 所提方法在SYSU-MM01数据集上实现了94.92%的Rank-1准确率与94.58%的mAP，相较于之前最先进方法在Rank-1上提升13.73%，在mAP上提升9.45%。
• 仅使用HOSG模块时，在SYSU-MM01的所有搜索模式下，Rank-1准确率提升10.32%，mAP提升8.96%，相较于基线模型。
• HGAM模块贡献最大性能增益，在室内搜索模式下使Rank-1提升13.94%，mAP提升9.89%，证明其在跨模态对齐中的有效性。
• CMCC损失在室内搜索模式下使Rank-1提升12.00%，mAP提升9.65%，证实其在增强模态不变性与减少噪声方面的关键作用。
• t-SNE可视化结果表明，所提方法使同一身份的特征聚类更紧密，且不同身份的特征分离更明显，优于基线方法。
• 超参数分析显示，在α = 0.05与γ = 1.0时性能最优，且在不同设置下均保持一致提升，验证了方法的鲁棒性。