[论文解读] Incremental Few-Shot Learning for Pedestrian Attribute Recognition

Liuyu Xiang, Xiaoming Jin+3 more|arXiv (Cornell University)|Jun 2, 2019

Video Surveillance and Tracking Methods参考文献 16被引用 5

一句话总结

本文提出了一种用于增量少样本行人属性识别的元学习框架，能够在仅使用少量数据的情况下快速适应新属性，同时保持对基础属性的性能。通过引入属性原型生成模块（APGM）和属性关系模块（ARM），该方法在低内存和低推理成本下实现了最先进性能，在少样本设置下优于微调和现有的元学习基线方法。

ABSTRACT

Pedestrian attribute recognition has received increasing attention due to its important role in video surveillance applications. However, most existing methods are designed for a fixed set of attributes. They are unable to handle the incremental few-shot learning scenario, i.e. adapting a well-trained model to newly added attributes with scarce data, which commonly exists in the real world. In this work, we present a meta learning based method to address this issue. The core of our framework is a meta architecture capable of disentangling multiple attribute information and generalizing rapidly to new coming attributes. By conducting extensive experiments on the benchmark dataset PETA and RAP under the incremental few-shot setting, we show that our method is able to perform the task with competitive performances and low resource requirements.

研究动机与目标

• 解决行人属性识别中增量少样本学习的实际挑战，即在仅有少量训练数据的情况下添加新属性。
• 通过在不访问先前训练数据的情况下实现高效模型扩展，克服微调中的灾难性遗忘问题以及重训练的高计算成本。
• 开发一种元学习框架，能够在保留对先前学习的基础属性准确率的同时，快速泛化到新属性。
• 通过利用属性共现模式和基于原型的分类方法，提升在低资源、多标签少样本属性识别任务上的性能。
• 在PETA和RAP基准数据集上，在真实增量少样本设置下验证该方法的有效性。

提出的方法

• 引入属性原型生成模块（APGM），该模块能够从特征嵌入中学习提取具有区分性的属性原型，从而通过单次前向传播实现对新属性的快速适应。
• 采用一种解耦多个属性表示并可在任务间泛化的元架构，使模型能够仅用少量样本即可快速适应新属性。
• 在训练过程中使用合成的“虚假”新属性进行元训练，以模拟多样化的少样本场景，提升泛化能力。
• 引入属性关系模块（ARM），利用共现模式将基础属性的权重知识迁移至新属性，从而在新数据集中包含基础属性标注时提升性能。
• 使用SGD优化元网络，学习率设为1e-5，动量为0.9，权重衰减为0.0005，并采用早停策略以防止在单个任务上过拟合。
• 采用支持集采样策略，确保所采样属性均存在于支持集中，若任一所需属性缺失则重新采样。

实验结果

研究问题

• RQ1 元学习框架能否在仅有少量标注样本的情况下，有效扩展预训练模型以识别新行人属性，同时避免灾难性遗忘？
• RQ2 与微调及现有少样本元学习方法相比，该方法在准确率、推理时间和内存使用方面表现如何？
• RQ3 通过ARM模块引入属性共现模式，在新属性上性能提升的程度如何，尤其是在新数据集中包含基础属性标注时？
• RQ4 为何标准少样本元学习方法（如ProtoNet和DFWF）在此多标签、增量少样本设置下表现不佳？
• RQ5 在真实世界部署场景中，样本数（shots）和类别数（ways）如何影响该方法的泛化性能？

主要发现

• 在PETA和RAP数据集上，该方法在新属性上的平均准确率（mA novel）显著高于微调方法，尤其在低样本设置下表现更优。
• 在5-way 50-shot学习设置下，该方法优于使用学习率为0.0001的微调方法，在保持基础模型性能的同时避免了灾难性遗忘。
• 当新数据集中包含基础属性时，属性关系模块（ARM）使PETA上的mA novel提升0.89%（从67.16%提升至68.05%），RAP上提升0.98%（从71.90%提升至72.88%）。
• 该方法在性能上持续优于微调基线和SOTA元学习方法（如ProtoNet和DFWF），后者因难以处理多标签、增量少样本学习任务而表现不佳。
• 在元训练过程中增加虚假新属性的数量，可使mA novel提升约1%，证实了在元优化过程中采用更复杂任务采样策略的益处。
• 该方法表现出极低的推理成本——仅需一次前向传播，适用于设备端、低资源应用场景。