[论文解读] Appearance-Preserving 3D Convolution for Video-based Person Re-identification

Xinqian Gu, Hong Chang+3 more|arXiv (Cornell University)|Jul 16, 2020

Video Surveillance and Tracking Methods参考文献 36被引用 12

一句话总结

该论文提出外观保持3D卷积（AP3D），通过在应用3D卷积前利用跨像素语义相似性对帧间特征图进行对齐，集成外观保持模块（APM）以保留视频行人重识别中的外观表征。AP3D仅使用RGB模态，在无需额外监督或复杂后处理的情况下，在三个基准数据集上实现了最先进性能。

ABSTRACT

Due to the imperfect person detection results and posture changes, temporal appearance misalignment is unavoidable in video-based person re-identification (ReID). In this case, 3D convolution may destroy the appearance representation of person video clips, thus it is harmful to ReID. To address this problem, we propose AppearancePreserving 3D Convolution (AP3D), which is composed of two components: an Appearance-Preserving Module (APM) and a 3D convolution kernel. With APM aligning the adjacent feature maps in pixel level, the following 3D convolution can model temporal information on the premise of maintaining the appearance representation quality. It is easy to combine AP3D with existing 3D ConvNets by simply replacing the original 3D convolution kernels with AP3Ds. Extensive experiments demonstrate the effectiveness of AP3D for video-based ReID and the results on three widely used datasets surpass the state-of-the-arts. Code is available at: https://github.com/guxinqian/AP3D.

研究动机与目标

• 解决由于检测误差和姿态变化导致的时间外观错位所引起的视频行人重识别中外观表征退化问题。
• 开发一种在有效建模时空依赖关系的同时保持外观质量的3D卷积方法。
• 设计一种无需真实对应标注即可实现像素级特征图对齐的模块。
• 构建一个可即插即用的组件，兼容现有的3D ConvNets（如I3D和P3D）。

提出的方法

• AP3D由外观保持模块（APM）和标准3D卷积核组成，其中APM在卷积前应用。
• APM基于跨像素语义相似性重建相邻特征图，使其与中心特征图对齐，从而确保帧间的空间对应关系。
• 对比注意力机制用于识别非对称外观场景（如身体部位缺失）中的不匹配区域，并应用学习得到的注意力掩码以抑制重建过程中的误差传播。
• APM以无监督方式运行，仅依赖训练期间的身份监督，无需额外的对应关系标注。
• 通过将标准3D卷积核替换为AP3D模块，可轻松集成到现有3D ConvNets中。
• 相似性加权函数中的尺度因子 $ s $ 经调优以平衡高相似度像素的影响，其中 $ s=4 $ 获得最佳性能。

实验结果

研究问题

• RQ1 在视频ReID中，3D卷积是否可能因检测误差或姿态变化导致的时间错位而降低外观表征质量？
• RQ2 通过学习到的相似性实现像素级特征图对齐，是否能在不依赖真实对应关系标注的情况下提升3D卷积性能？
• RQ3 所提出的AP3D模块是否能在不同主干网络架构（如I3D和P3D）上实现良好泛化？
• RQ4 AP3D是否能仅使用RGB输入，在不使用光流或复杂特征匹配策略的情况下实现SOTA性能？
• RQ5 对比注意力机制的引入如何提升对错位特征图中非对称外观的鲁棒性？

主要发现

• 在MARS数据集上，AP3D实现了90.1%的mAP，超越了所有仅使用RGB输入的先前方法。
• 在DukeMTMC-VideoReID上，AP3D实现了96.3%的top-1准确率和95.6%的mAP，创下新的SOTA记录。
• 引入非局部连接后，NL-AP3D在MARS上进一步提升至90.7% mAP，在DukeMTMC-VideoReID上达到96.1% mAP。
• 尽管参数量接近一半且计算成本更低，AP3D-ResNet-18仍优于更深的ResNet-34。
• 消融实验证实，APM和对比注意力均不可或缺，后者在MARS上使性能提升1.5–2.0% mAP。
• 在相似性加权函数中，最优尺度因子 $ s=4 $ 在所有实验中均持续取得最佳结果。