[论文解读] AID: Pushing the Performance Boundary of Human Pose Estimation with Information Dropping Augmentation

Junjie Huang, Zheng Zhu+2 more|arXiv (Cornell University)|Aug 17, 2020

Human Pose and Action Recognition参考文献 49被引用 12

一句话总结

本文提出了一种名为信息丢弃增强（AID）的数据增强技术，该技术在训练过程中随机抑制关键点外观线索，以缓解对外观特征的过拟合，并促进模型学习结构约束线索，从而提升人体姿态估计的性能。AID在COCO和CrowdPose数据集上分别将最先进模型的性能提升了最高1.5 AP，尤其在结合定制化训练策略以缓解早期训练不稳定性时效果更显著。

ABSTRACT

Both appearance cue and constraint cue are vital for human pose estimation. However, there is a tendency in most existing works to overfitting the former and overlook the latter. In this paper, we propose Augmentation by Information Dropping (AID) to verify and tackle this dilemma. Alone with AID as a prerequisite for effectively exploiting its potential, we propose customized training schedules, which are designed by analyzing the pattern of loss and performance in training process from the perspective of information supplying. In experiments, as a model-agnostic approach, AID promotes various state-of-the-art methods in both bottom-up and top-down paradigms with different input sizes, frameworks, backbones, training and testing sets. On popular COCO human pose estimation test set, AID consistently boosts the performance of different configurations by around 0.6 AP in top-down paradigm and up to 1.5 AP in bottom-up paradigm. On more challenging CrowdPose dataset, the improvement is more than 1.5 AP. As AID successfully pushes the performance boundary of human pose estimation problem by considerable margin and sets a new state-of-the-art, we hope AID to be a regular configuration for training human pose estimators. The source code will be publicly available for further research.

研究动机与目标

• 诊断并解决深度学习模型在人体姿态估计中对外观线索的过拟合倾向。
• 探究为何现有信息丢弃方法在标准训练策略下无法提升性能。
• 开发定制化训练策略，以实现信息丢弃增强（AID）的有效利用。
• 验证AID在多种架构、主干网络、输入尺寸及数据集上的泛化能力与有效性，涵盖自顶向下与自底向上两种范式。

提出的方法

• AID在训练过程中对关键点位置周围的外观信息进行随机、局部的抑制，同时保留响应图的监督信号。
• 该方法作为数据增强策略，通过有选择性地丢弃信息，促使模型依赖结构与关系约束进行推理。
• 基于损失与性能动态的分析，设计定制化训练策略，尤其关注在外观线索稀少时的早期训练稳定性。
• 训练策略包括延长训练周期和分阶段训练（先无AID预训练，再以AID微调），以提升收敛性与性能。
• 在自顶向下与自底向上姿态估计框架中，对多种最先进模型（如HRNet与HigherHRNet）评估了AID的有效性。
• 对不同信息丢弃方法（Cutout、HaS、GridMask）的超参数进行调优，以确保初始损失水平相近，实现公平比较。

实验结果

研究问题

• RQ1 为何标准信息丢弃增强在人体姿态估计中虽具正则化潜力，却无法提升性能？
• RQ2 当结合优化训练策略时，信息丢弃能将性能提升多少？
• RQ3 在遮挡或关键点外观模糊等挑战性条件下，AID如何影响模型的泛化能力？
• RQ4 在自顶向下与自底向上姿态估计范式中，哪种信息丢弃方法（Cutout、HaS、GridMask）表现最佳？
• RQ5 AID能否作为标准训练配置，广泛提升多样化模型与数据集的性能？

主要发现

• 在COCO测试集上，AID使多种配置下的自顶向下姿态估计模型性能平均提升约0.6 AP。
• 在自底向上范式中，AID使COCO数据集上的性能最高提升1.5 AP。
• 在更具挑战性的CrowdPose数据集中，AID在多种配置下均实现超过1.5 AP的性能提升。
• AID的性能增益在结合定制化训练策略时最为显著，尤其是延长训练或采用先预训练后微调的分阶段训练策略。
• 在所测试的信息丢弃方法中，HaS在自底向上范式中表现最佳，而Cutout在自顶向下范式中略占优势。
• 定性结果表明，经AID训练的模型在模糊或遮挡场景下能生成更准确且更合理的关节点预测。