[论文解读] Mixed High-Order Attention Network for Person Re-Identification

Binghui Chen, Weihong Deng+1 more|arXiv (Cornell University)|Aug 16, 2019

Video Surveillance and Tracking Methods参考文献 59被引用 40

一句话总结

引入高阶注意力（HOA）用于 ReID，并提出混合高阶注意力网络（MHN），它使用多个 HOA 模块并通过对抗正则化防止顺序塌陷，在三个大型数据集上达到当前最先进的结果。

ABSTRACT

Attention has become more attractive in person reidentification (ReID) as it is capable of biasing the allocation of available resources towards the most informative parts of an input signal. However, state-of-the-art works concentrate only on coarse or first-order attention design, e.g. spatial and channels attention, while rarely exploring higher-order attention mechanism. We take a step towards addressing this problem. In this paper, we first propose the High-Order Attention (HOA) module to model and utilize the complex and high-order statistics information in attention mechanism, so as to capture the subtle differences among pedestrians and to produce the discriminative attention proposals. Then, rethinking person ReID as a zero-shot learning problem, we propose the Mixed High-Order Attention Network (MHN) to further enhance the discrimination and richness of attention knowledge in an explicit manner. Extensive experiments have been conducted to validate the superiority of our MHN for person ReID over a wide variety of state-of-the-art methods on three large-scale datasets, including Market-1501, DukeMTMC-ReID and CUHK03-NP. Code is available at http://www.bhchen.cn/.

研究动机与目标

• 在行人 ReID 中推动超越标准空间与通道注意力的更丰富的注意力机制。
• 建模卷积激活的高阶统计，以捕捉行人之间的微妙部件关系。
• 通过促进多样化、保留细节的注意力知识，解决 ReID 中的零样本学习挑战。
• 提出一个与模型无关的 MHN 框架，能够与常用骨干网络（如 IDE、PCB）集成。

提出的方法

• 提出 High-Order Attention (HOA) 模块，通过多项式预测器及张量分解来从局部描述符的高阶统计量计算注意力图，以控制参数数量。
• 通过一个多阶（R）预测器推导出向量状的注意力图 A(x)，并在空间位置上实现为共享的 1x1 卷积。
• 引入两种不饱和度的非线性注意力变体（Eq. 8 与 Eq. 9），并比较它们的有效性。
• 将多种不同阶次的 HOA 模块组合成混合高阶注意力网络（MHN），以丰富注意力知识。
• 对 HOA 模块之间的阶次多样性进行对抗约束正则化，以防止高阶模块坍缩到低阶。
• 用身份损失与对抗多样性损失的组合来优化 MHN（L_ide + λ max-min L_adv）。

实验结果

研究问题

• RQ1 高阶统计相比传统的一阶空间/通道注意力在 ReID 上提供了哪些收益？
• RQ2 具有不同阶次的多个 HOA 模块是否可以提高对零样本身份分割的鲁棒性？
• RQ3 通过对 HOA 阶次的对抗性强制多样性是否能防止阶次塌缩并提升对未见身份的识别？
• RQ4 在标准 ReID 基准上，将 MHN 与 IDE 和 PCB 骨干整合时性能如何？

主要发现

数据集	设置	R-1	R-5	R-10	mAP
Market-1501	MHN-6 (PCB)	95.1	98.1	98.9	85.0
DukeMTMC-ReID	MHN-6 (PCB)	89.1	94.6	96.2	77.2
CUHK03-NP	Labeled (MHN-6 PCB)	77.2	—	—	65.4
CUHK03-NP	Detected (MHN-6 PCB)	71.7	—	—	65.4

• MHN 由六个 HOA 模块组成（MHN-6），在 Market-1501、DukeMTMC-ReID 和 CUHK03-NP 上显著提升了 IDE 和 PCB 基线。
• 在 Market-1501 上，MHN-6（PCB）达到 R-1 95.1、R-5 98.1、R-10 98.9，mAP 85.0，超越先前方法。
• 在 DukeMTMC-ReID 上，MHN-6（PCB）达到 R-1 89.1、R-5 94.6、R-10 96.2，mAP 77.2，超越基线和许多竞争者。
• 在 CUHK03-NP 上，MHN-6（PCB）达到 R-1 77.2，mAP 65.0–65.4（取分割方式而定：标注版：R-1 77.2，检测版：R-1 71.7，mAP ~65.4），优于若干现有方法。
• 对抗多样性约束（L_adv）有效防止阶次塌缩，并提升了 IDE 与 PCB 两种变体的性能。
• 非线性注意力变体（Eq. 9）在结果上与线性替代（Eq. 8）相当或更优。