[论文解读] Aggregation and Finetuning for Clothes Landmark Detection

Tzu-Heng Lin|arXiv (Cornell University)|May 1, 2020

Anomaly Detection Techniques and Applications参考文献 13被引用 4

一句话总结

本文提出了一种用于服装关键点检测的聚合与微调框架，通过在不同服装类别间对语义相似的关键点进行分组，并对类别特定模型进行微调，显著提升了性能。该方法在DeepFashion2测试集上取得了0.615 AP的最先进结果，显著优于先前方法。

ABSTRACT

Landmark detection for clothes is a fundamental problem for many applications. In this paper, a new training scheme for clothes landmark detection: $ extit{Aggregation and Finetuning}$, is proposed. We investigate the homogeneity among landmarks of different categories of clothes, and utilize it to design the procedure of training. Extensive experiments show that our method outperforms current state-of-the-art methods by a large margin. Our method also won the 1st place in the DeepFashion2 Challenge 2020 - Clothes Landmark Estimation Track with an AP of 0.590 on the test set, and 0.615 on the validation set. Code will be publicly available at https://github.com/lzhbrian/deepfashion2-kps-agg-finetune .

研究动机与目标

• 解决由于关键点数量多且各类服装类别间数据不平衡导致的服装关键点检测性能低下问题。
• 研究不同服装类型间关键点的同质性，以提升泛化能力与训练效率。
• 设计一种训练方案，以减少过拟合并提升检测精度，尤其针对数据较少的服装类别。
• 在DeepFashion2基准上实现最先进性能，尤其在低资源类别上表现优异。
• 证明目标检测质量是服装关键点检测中的关键瓶颈，这一点与人体姿态估计不同。

提出的方法

• 基于共享定义（如上衣与连衣裙的领口）将13类服装中的294个独立关键点聚合为81个语义相似的组别。
• 在聚合后的81个关键点上训练单一通用关键点检测器，以提升数据效率与收敛速度。
• 仅使用每个类别自身的数据，对类别特定模型进行微调，以增强对低资源类别的检测精度。
• 采用两阶段检测流程：首先使用Hybrid Task Cascade检测器（ResNeXt-101-64x4d）检测服装实例，然后使用HRNet-w48关键点头检测关键点。
• 在训练和推理过程中应用数据增强（水平翻转）以提升鲁棒性。
• 通过模型集成与消融实验，验证管道中各组件的贡献。

实验结果

研究问题

• RQ1 所提出的聚合与微调方案在DeepFashion2基准上与最先进方法相比表现如何？
• RQ2 目标检测性能在多大程度上限制了服装识别中关键点检测的精度？
• RQ3 将语义相似的关键点进行聚合，在提升模型泛化能力与收敛速度方面有多有效？
• RQ4 类别特定微调是否显著提升了低资源服装类别上的性能？
• RQ5 各组件（聚合、微调、数据增强）对最终性能提升的贡献分别是什么？

主要发现

• 所提方法在DeepFashion2测试集上达到0.615 AP，在测试集上达到0.590 AP，荣获2020年DeepFashion2挑战赛——服装关键点估计赛道第一名。
• 消融实验表明，聚合使AP提升了0.003（从0.556提升至0.559），而切换至更优的目标检测器使AP提升了0.02（从0.559提升至0.579）。
• 微调策略贡献最大，使AP从0.584提升至0.612，证明其在缓解数据不平衡问题上的有效性。
• 性能提升在低资源类别上最为显著：sling类从0.470提升至0.576 AP，sling dress类从0.586提升至0.686 AP。
• 发现目标检测是主要瓶颈——使用真实框（ground-truth boxes）时AP达到0.652，显著高于使用模型生成框（0.579）。
• 尽管性能有所提升，但数据极度稀缺的类别（如短袖外穿服，仅543个训练样本）性能提升微乎其微（从0.382提升至0.386 AP），表明当前方法在极端数据稀缺情况下的局限性。