[论文解读] Interaction-and-Aggregation Network for Person Re-identification

Ruibing Hou, Bingpeng Ma+4 more|arXiv (Cornell University)|Jul 19, 2019

Video Surveillance and Tracking Methods参考文献 51被引用 39

一句话总结

本文提出 Interaction-and-Aggregation (IA) 块，包含 Spatial IA (SIA) 和 Channel IA (CIA)，以自适应建模空间和通道依赖性，提升 CNN 在行人再识别中的性能，并在多个基准数据集上达到最新水平。

ABSTRACT

Person re-identification (reID) benefits greatly from deep convolutional neural networks (CNNs) which learn robust feature embeddings. However, CNNs are inherently limited in modeling the large variations in person pose and scale due to their fixed geometric structures. In this paper, we propose a novel network structure, Interaction-and-Aggregation (IA), to enhance the feature representation capability of CNNs. Firstly, Spatial IA (SIA) module is introduced. It models the interdependencies between spatial features and then aggregates the correlated features corresponding to the same body parts. Unlike CNNs which extract features from fixed rectangle regions, SIA can adaptively determine the receptive fields according to the input person pose and scale. Secondly, we introduce Channel IA (CIA) module which selectively aggregates channel features to enhance the feature representation, especially for smallscale visual cues. Further, IA network can be constructed by inserting IA blocks into CNNs at any depth. We validate the effectiveness of our model for person reID by demonstrating its superiority over state-of-the-art methods on three benchmark datasets.

研究动机与目标

• 解决固定 CNN 感受野在行人 reID 上对姿态和尺度变化的挑战。
• 提出 SIA，通过学习空间语义关系自适应定位身体部位。
• 提出 CIA，聚合通道维度的特征以捕捉小尺度线索。
• 将 IA 块集成到 CNN 主干中，形成 IA Network (IANet)。
• 在标准 reID 数据集上展示优于现有方法的性能。

提出的方法

• 定义 Spatial IA (SIA) 以计算外观和位置关系并聚合语义相关的空间特征。
• 定义 Channel IA (CIA) 以计算通道级的语义关系并聚合语义相似的通道特征。
• 将 SIA 和 CIA 结合成带有残差形式的 IA 块，可插入网络瓶颈处。
• 将 IA 块插入 ResNet-50 以构建 IANet，并以身份分类的交叉熵损失端到端训练。
• 在 CUHK03、Market-1501、DukeMTMC-reID 和 MSMT17 上使用 mean Average Precision (mAP) 和 CMC top-k 指标进行评估。

实验结果

研究问题

• RQ1 通过 SIA 的自适应空间感受野，在姿态/尺度变化下无需外部部位检测器就能改善身体部位定位吗？
• RQ2 通过 CIA 建模通道间依赖性，是否能提高对小尺度线索（如包包、鞋子）的辨识度？
• RQ3 将 IA 块置于网络瓶颈处，是否比在多种主干结构中放置于内部块位置获得更大收益？

主要发现

模型	Market-1501 top-1	Market-1501 mAP	DukeMTMC top-1	DukeMTMC mAP
IANet	94.4	83.1	87.1	73.4

• IANet 在 Market-1501 上超越现有方法（top-1: 94.4, mAP: 83.1）和 DukeMTMC（top-1: 87.1, mAP: 73.4）。
• 在 MSMT17 上，IANet 达到 top-1 75.5、top-5 85.5、top-10 88.7，mAP 46.8，超过以往方法。
• 消融显示多上下文 SIA 比单一上下文提升效果，SIA 与 CIA 结合获得最佳结果。
• 将 IA 块放置在 stage-2 和 stage-3 瓶颈处，带来显著增益且参数开销适中。
• IA 块对不完美的人体检测表现出鲁棒性，并优于基于注意力和多尺度的基线方法。