[论文解读] Lifelong Person Re-Identification via Adaptive Knowledge Accumulation

Nan Pu, Wei Chen+3 more|arXiv (Cornell University)|Mar 23, 2021

Video Surveillance and Tracking Methods参考文献 47被引用 9

一句话总结

本文提出终身行人重识别（LReID），一种新型任务，要求模型从多个不相交的领域中持续学习，同时泛化到未见过的领域。作者提出自适应知识累积（AKA）框架，通过可学习的知识图谱结合可塑性与稳定性损失，缓解灾难性遗忘并提升零样本泛化能力，在未见领域上达到44.3%的mAP，较基线方法高出5.8%。

ABSTRACT

Person ReID methods always learn through a stationary domain that is fixed by the choice of a given dataset. In many contexts (e.g., lifelong learning), those methods are ineffective because the domain is continually changing in which case incremental learning over multiple domains is required potentially. In this work we explore a new and challenging ReID task, namely lifelong person re-identification (LReID), which enables to learn continuously across multiple domains and even generalise on new and unseen domains. Following the cognitive processes in the human brain, we design an Adaptive Knowledge Accumulation (AKA) framework that is endowed with two crucial abilities: knowledge representation and knowledge operation. Our method alleviates catastrophic forgetting on seen domains and demonstrates the ability to generalize to unseen domains. Correspondingly, we also provide a new and large-scale benchmark for LReID. Extensive experiments demonstrate our method outperforms other competitors by a margin of 5.8% mAP in generalising evaluation.

研究动机与目标

• 解决在动态、现实环境中持续行人重识别的挑战，其中随时间推移会持续接收来自新、未见领域的数据流。
• 克服传统ReID方法的局限性，后者假设训练分布固定且静态。
• 使模型能够在保留先前已见领域知识的同时，泛化到此前未见过的领域。
• 为终身ReID开发基准与评估协议，以支持该新兴场景下的未来研究。

提出的方法

• 设计知识图谱（KG）以表示可迁移的知识，其中节点表示行人身份关系，边编码小批量内外观相似性。
• 使用图卷积网络（GCNs）通过在当前与先前知识表示之间建立跨图连接，实现在不同领域间传播与更新知识。
• 引入可塑性损失，以促进从先前领域迁移知识，从而提升新数据上的表征学习能力。
• 整合稳定性损失，以保留先前学习的知识，减少增量训练过程中的灾难性遗忘。
• 在知识图谱更新过程中应用梯度解耦机制，以稳定学习并防止误差传播。
• 通过验证集调优超参数，采用可塑性与稳定性损失的加权组合来优化模型，以在已见与未见领域之间取得性能平衡。

实验结果

研究问题

• RQ1 ReID模型能否在序列化、不相交且无重叠的领域中有效学习，同时保持对先前已见领域的性能？
• RQ2 模型在训练期间未出现过的完全未见领域中，其泛化能力能达到何种程度？
• RQ3 如何自适应地表示并迁移先前领域中的知识，以改善新领域上的学习效果？
• RQ4 在终身ReID设置中，哪些损失组件最有效地平衡可塑性（学习新知识）与稳定性（保留旧知识）？

主要发现

• AKA框架在已见领域达到31.8%的mAP，在未见领域达到44.3%的mAP，通用泛化评估中较所有基线方法高出5.8%。
• 消融实验确认可塑性与稳定性损失均不可或缺：移除稳定性损失导致显著遗忘，而移除可塑性损失则损害未见领域上的泛化能力。
• 同时包含两种损失的完整AKA模型在未见领域达到44.3%的mAP，展现出强大的零样本泛化能力。
• 知识图谱模块显著提升性能，相比LwF基线，mAP提升6%，且遗忘程度更低。
• 超参数分析表明，最优性能出现在λp = 1与λs = 5×10⁻⁴时，Nᴷ = 64在内存与性能之间提供了良好权衡。
• 可视化结果证实，梯度解耦稳定了知识表征学习，且模型保持了原始特征与蒸馏特征之间的一致性相似度。