[论文解读] Jointly Optimize Data Augmentation and Network Training: Adversarial Data Augmentation in Human Pose Estimation

Xi Peng, Zhiqiang Tang+3 more|arXiv (Cornell University)|May 24, 2018

Human Pose and Action Recognition参考文献 34被引用 42

一句话总结

本文提出一个对抗性数据增强网络，用以生成数据增强并与姿态估计网络共同训练，在 MPII 和 LSP 上提升精度且不需要额外数据。

ABSTRACT

Random data augmentation is a critical technique to avoid overfitting in training deep neural network models. However, data augmentation and network training are usually treated as two isolated processes, limiting the effectiveness of network training. Why not jointly optimize the two? We propose adversarial data augmentation to address this limitation. The main idea is to design an augmentation network (generator) that competes against a target network (discriminator) by generating `hard' augmentation operations online. The augmentation network explores the weaknesses of the target network, while the latter learns from `hard' augmentations to achieve better performance. We also design a reward/penalty strategy for effective joint training. We demonstrate our approach on the problem of human pose estimation and carry out a comprehensive experimental analysis, showing that our method can significantly improve state-of-the-art models without additional data efforts.

研究动机与目标

• 著重解决数据增强与网络训练之间的分离问题。
• 提出一个能够基于输入图像与当前模型状态条件化生成对抗性、在线化的增强网络。
• 实现带有奖励/惩罚机制的联合训练以更新增强网络。
• 在现有网络结构上展示在 MPII 与 LSP 上的姿态估计性能提升。
• 提供消融研究与洞见，说明对抗性增强如何影响学习。

提出的方法

• 引入一个输出增强操作分布以最大化姿态网络 D 的损失的增强网络 G。
• 将 D 模型化为一个判别器，从对抗性增强中学习并通过奖励/惩罚机制提供反馈。
• 通过 KL 散度估计尺度/旋转箱的真实分布来预训练 ASR（Adversarial Scaling and Rotating）。
• 通过学习一个 4x4 特征掩码上的分布并应用分层遮挡来预训练 AHO（Adversarial Hierarchical Occluding）。
• 以奖励/惩罚更新规则联合训练 G 和 D，强化那些比随机增强更能降低 D 性能的增强。
• 在小批次中以分阶段、交替的方式应用 ASR 和 AHO，以维持训练稳定性。

实验结果

研究问题

• RQ1 通过对抗性增强网络实现数据增强与网络训练的联合优化，是否能在姿态估计性能上优于标准随机增强？
• RQ2 对抗性尺度、旋转和分层遮挡增强是否能使姿态估计器在有限数据集上学到更好的表示？
• RQ3 将增强条件化于中间特征与训练状态是否能够提升效率与收敛性？
• RQ4 ASR 与 AHO 各自及联合对 MPII 与 LSP 基准的影响如何？

主要发现

• 对抗性数据增强（ASR 与 AHO）在残差网络与密集的 hourglass 网络上均优于随机增强的姿态估计精度。
• ASR 在关键点的 PCKh@0.5 上的平均提升约为 0.5 个百分点，适用于两类网络。
• AHO 在 PCKh@0.5 上的平均提升也相近（约 0.4 个百分点）。
• 同时使用 ASR 与 AHO 相较于任一方法单独使用，带来额外增益，尤其提升踝、膝、手腕等困难关节。
• 应用于 8-stack Stacked Hourglass 网络时，对抗性增强在 MPII 测试集上达到最先进的 PCKh@0.5，并在 LSP 上以 PCK@0.2 优于基线。
• 密集型 hourglass 模型在参数显著少于残差变体的情况下提供了可比的精度，从而提升了效率。