[论文解读] AttKGCN: Attribute Knowledge Graph Convolutional Network for Person Re-identification

Bo Jiang, Xixi Wang+1 more|arXiv (Cornell University)|Nov 24, 2019

Video Surveillance and Tracking Methods参考文献 44被引用 4

一句话总结

该论文提出AttKGCN，一种新颖的端到端框架，通过将属性知识图卷积网络与视觉特征学习相结合，实现行人重识别。通过构建有向属性知识图来建模属性共现依赖关系，并利用图卷积网络进行相互依赖的属性分类，AttKGCN在基准数据集上取得了最先进性能，显著提升了属性预测与Re-ID准确率。

ABSTRACT

Discriminative feature representation of person image is important for person re-identification (Re-ID) task. Recently, attributes have been demonstrated beneficially in guiding for learning more discriminative feature representations for Re-ID. As attributes normally co-occur in person images, it is desirable to model the attribute dependencies to improve the attribute prediction and thus Re-ID results. In this paper, we propose to model these attribute dependencies via a novel attribute knowledge graph (AttKG), and propose a novel Attribute Knowledge Graph Convolutional Network (AttKGCN) to solve Re-ID problem. AttKGCN integrates both attribute prediction and Re-ID learning together in a unified end-to-end framework which can boost their performances, respectively. AttKGCN first builds a directed attribute KG whose nodes denote attributes and edges encode the co-occurrence relationships of different attributes. Then, AttKGCN learns a set of inter-dependent attribute classifiers which are combined with person visual descriptors for attribute prediction. Finally, AttKGCN integrates attribute description and deeply visual representation together to construct a more discriminative feature representation for Re-ID task. Extensive experiments on several benchmark datasets demonstrate the effectiveness of AttKGCN on attribute prediction and Re-ID tasks.

研究动机与目标

• 为解决在姿态、光照和遮挡等大外观差异下学习判别性行人重识别特征的挑战。
• 利用现有方法常被忽略的人行属性之间的共现关系，以提升属性预测与Re-ID性能。
• 将属性学习与视觉表征学习统一为单一端到端框架，联合优化两项任务。
• 提出一种新型属性知识图（AttKG），将属性之间的共现模式编码为节点间的有向边。
• 证明通过图卷积引入结构化属性依赖关系，可同时提升属性识别与行人重识别的准确率。

提出的方法

• 构建一个有向属性知识图（AttKG），其中节点表示属性（如'女性'、'背包'），边编码属性对之间的学习到的共现概率。
• 采用图卷积网络（GCN）模块，通过聚合AttKG中邻域信息，学习相互依赖的属性分类器。
• 将基于GCN的属性分类器输出与预训练CNN主干网络提取的深层视觉特征融合，生成统一且判别性强的行人表征。
• 引入属性重加权模块，根据各属性的置信度与相关性，动态调整其对最终表征的贡献。
• 使用联合损失函数（包含Re-ID分类损失与属性预测交叉熵损失）进行端到端训练。
• 引入可学习参数λ，用于在联合优化过程中平衡Re-ID与属性预测损失的贡献。

实验结果

研究问题

• RQ1 通过知识图建模属性共现依赖关系，能否提升行人重识别中的属性预测性能？
• RQ2 将基于图的属性学习模块集成到深度Re-ID模型中，是否能生成更具判别性的视觉表征？
• RQ3 所提出的AttKGCN框架在mAP与Rank-1准确率方面，相较于最先进属性引导的Re-ID方法表现如何？
• RQ4 属性重加权模块对最终Re-ID性能与属性预测可靠性有何影响？
• RQ5 AttKGCN模型对超参数（如损失平衡权重λ与GCN层数）的敏感性如何？

主要发现

• 在Market-1501数据集上，AttKGCN达到94.4%的Rank-1与85.5%的mAP，显著优于无属性学习的基线模型。
• 在DukeMTMC-reID数据集上，AttKGCN达到87.8%的Rank-1与77.4%的mAP，表明在多个基准上均具有一致性提升。
• 模型对超参数λ具有鲁棒性，在4–6范围内性能稳定，且在λ=5时达到最优结果。
• 消融实验表明，基于GCN的属性模块与重加权机制均至关重要，任一移除均导致性能显著下降。
• AttKGCN的属性预测准确率超越竞争方法（如APR与AANet），尤其在所有属性的平均准确率上表现更优。
• 可视化结果表明，与基线相比，AttKGCN生成的每类身份特征嵌入更具分离性，表明其具备更强的判别能力。