[论文解读] Rethinking Person Re-Identification with Confidence.

George Adaimi, S. Kreiss+1 more|arXiv (Cornell University)|Jun 11, 2019

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文通过在交叉熵损失中引入标签平滑、置信度惩罚和深度变分信息瓶颈，提出了一种置信度感知的表示学习框架，用于行人重识别。该方法在不依赖手工设计特征的前提下，在三个公开数据集上提升了重识别性能，优于当前最先进方法，通过显式建模预测置信度实现了性能提升。

ABSTRACT

A common challenge in person re-identification systems is to differentiate people with very similar appearances. The current learning frameworks based on cross-entropy minimization are not suited for this challenge. To tackle this issue, we propose to modify the cross-entropy loss and model confidence in the representation learning framework using three methods: label smoothing, confidence penalty, and deep variational information bottleneck. A key property of our approach is the fact that we do not make use of any hand-crafted human characteristics but rather focus our attention on the learning supervision. Although methods modeling confidence did not show significant improvements on other computer vision tasks such as object classification, we are able to show their notable effect on the task of re-identifying people outperforming state-of-the-art methods on 3 publicly available datasets. Our analysis and experiments not only offer insights into the problems that person re-id suffers from, but also provide a simple and straightforward recipe to tackle this issue.

研究动机与目标

• 解决行人重识别系统中难以区分外观极为相似的行人的问题。
• 克服标准交叉熵最小化在行人重识别表示学习中的局限性。
• 通过在训练过程中显式建模预测置信度，提升模型泛化能力。
• 开发一种仅依赖监督信号的学习框架，而非依赖手工设计的属性或元数据。

提出的方法

• 对真实标签应用标签平滑，使模型在预测时减少过度自信。
• 引入置信度惩罚项，对模型进行正则化，避免在不确定样本上做出过度自信的预测。
• 整合深度变分信息瓶颈，将与身份相关特征与噪声及无关变化分离。
• 将上述三个组件整合为统一的训练目标，以提升表示质量和泛化能力。
• 使用修改后的损失函数端到端训练模型，学习鲁棒且具备置信度感知能力的特征用于行人重识别。
• 将监督重点放在预测置信度上，而非依赖辅助的人工定义特征。

实验结果

研究问题

• RQ1 在外观高度相似的情况下，显式建模预测置信度是否能提升行人重识别性能？
• RQ2 如标签平滑和置信度惩罚等置信度感知损失组件如何影响行人重识别中的表示学习？
• RQ3 为何在一般计算机视觉任务（如图像分类）中表现不佳的置信度建模技术，在行人重识别中却能取得显著提升？
• RQ4 在不使用手工设计属性或元数据的前提下，置信度建模能在多大程度上提升行人重识别性能？

主要发现

• 所提出的置信度感知框架在三个公开可用的行人重识别数据集上优于当前最先进方法。
• 标签平滑、置信度惩罚与深度变分信息瓶颈三者协同提升了模型的鲁棒性与泛化能力。
• 该方法在不依赖手工设计的人工特征或属性的前提下，仍取得了显著性能提升。
• 该框架表明，由于身份间相似度极高，置信度建模在行人重识别中尤为有效。
• 实验表明，置信度感知训练可减少过度自信，并提升在困难负样本上的特征判别能力。
• 该方法提供了一种简单而有效的方案，通过更优的预测置信度监督，提升行人重识别性能。