[论文解读] DotSCN: Group Re-identification via Domain-Transferred Single and Couple Representation Learning

Ziling Huang, Zheng Wang+3 more|arXiv (Cornell University)|May 13, 2019

Video Surveillance and Tracking Methods参考文献 34被引用 5

一句话总结

该论文提出 DotSCN，一种用于群体重识别（G-ReID）的领域迁移表示学习框架，通过利用源数据集中的预训练行人 ReID 特征，并将其迁移到目标 G-ReID 领域，以应对数据稀缺问题。该方法引入了一种新颖的成对表示学习模块，用于建模人与人之间的关系，并采用基于 L 形状先验的自适应融合机制，在 Road Group 和 DukeMCMT 数据集上分别实现了 11.7% 和 39.0% 的 CMC-1 性能提升，达到当前最优水平。

ABSTRACT

Group re-identification (G-ReID) is an important yet less-studied task. Its challenges not only lie in appearance changes of individuals which have been well-investigated in general person re-identification (ReID), but also derive from group layout and membership changes. So the key task of G-ReID is to learn representations robust to such changes. To address this issue, we propose a Transferred Single and Couple Representation Learning Network (TSCN). Its merits are two aspects: 1) Due to the lack of labelled training samples, existing G-ReID methods mainly rely on unsatisfactory hand-crafted features. To gain the superiority of deep learning models, we treat a group as multiple persons and transfer the domain of a labeled ReID dataset to a G-ReID target dataset style to learn single representations. 2) Taking into account the neighborhood relationship in a group, we further propose learning a novel couple representation between two group members, that achieves more discriminative power in G-ReID tasks. In addition, an unsupervised weight learning method is exploited to adaptively fuse the results of different views together according to result patterns. Extensive experimental results demonstrate the effectiveness of our approach that significantly outperforms state-of-the-art methods by 11.7\% CMC-1 on the Road Group dataset and by 39.0\% CMC-1 on the DukeMCMT dataset.

研究动机与目标

• 解决群体重识别（G-ReID）中因缺乏大规模公开数据集而导致的标注训练数据有限的问题。
• 克服现有 ReID 数据集与目标 G-ReID 环境之间的领域差异，以实现行人级别表示的有效迁移。
• 通过学习群体成员之间的判别性成对表示，建模动态群体布局与成员变更。
• 提出一种自适应融合策略，基于 L 形状先验，根据其判别能力动态加权单人与成对表示。

提出的方法

• 使用图像风格迁移技术，将源域（如 Market-1501）中的预训练行人 ReID 特征迁移到目标 G-ReID 域，以减少领域差异。
• 将每个群体表示为个体集合，为每个成员提取领域迁移后的单人特征。
• 通过使用对比损失的类孪生网络，建模两名群体成员之间的成对关系，学习一种新颖的成对表示。
• 提出一种自适应融合机制，利用排名距离曲线所围成的面积计算单人与成对表示的动态权重。
• 基于 L 形状先验，使用可学习的加权函数将融合后的表示整合到最终匹配分数中。
• 采用联合损失函数进行端到端训练，该损失函数结合了单人特征的三元组损失与成对特征的对比损失。

实验结果

研究问题

• RQ1 领域自适应技术能否有效将行人 ReID 表示迁移到标注数据有限的目标 G-ReID 域？
• RQ2 通过成对表示建模群体成员之间的两两关系，是否能相比仅使用单人特征提升 G-ReID 的判别能力？
• RQ3 一种能动态加权单人与成对表示的自适应融合机制，是否优于固定权重或等权重融合策略？
• RQ4 在群体布局与成员构成动态变化的条件下，该方法与基于图神经网络（GNN）的模型相比，在建模群体级表示方面表现如何？

主要发现

• 与现有最佳方法相比，DotSCN 在 Road Group 数据集上实现了 CMC-1 11.7% 的绝对性能提升。
• 在 DukeMCMT 数据集上，DotSCN 相较于最先进方法实现了 39.0% 的 CMC-1 提升，展现出强大的泛化能力。
• 自适应融合策略在所有 CMC 指标上均优于等权重融合以及仅使用单人或成对表示的基线方法。
• 由于单人与成对表示的互补性，该方法对外观变化、布局变动及成员动态变化表现出强鲁棒性。
• 所提出的成对表示能够捕捉到全局或图结构表示所遗漏的独特人际差异，尤其在个体穿着相似时表现更优。
• 消融实验证实，基于 L 形状先验的融合机制能有效在困难情况下为更具判别性的表示分配更高权重。