[论文解读] Anti-Confusing: Region-Aware Network for Human Pose Estimation

Xuan Cao, Yanhao Ge+6 more|arXiv (Cornell University)|May 3, 2019

Human Pose and Action Recognition参考文献 33被引用 4

一句话总结

该论文提出区域感知网络（RANet），一种用于人体姿态估计的新框架，通过基于解析的数据增强、用于改进低级特征的特征金字塔主干、针对目标的特征区域提取以及级联投票融合，显著提升了在复杂纹理（如严重遮挡、邻近人物及对称身体部位）下的鲁棒性。RANet在MPII和LSP基准上达到最先进性能，尤其在手腕、脚踝和肘部等难预测关节点上取得显著提升。

ABSTRACT

In this work, we propose a novel framework named Region-Aware Network (RANet), which learns the ability of anti-confusing in case of heavy occlusion, nearby person and symmetric appearance, for human pose estimation. Specifically, the proposed method addresses three key aspects, i.e., data augmentation, feature learning and prediction fusion, respectively. First, we propose Parsing-based Data Augmentation (PDA) to generate abundant data that synthesizes confusing textures. Second, we not only propose a Feature Pyramid Stem (FPS) to learn stronger low-level features in lower stage; but also incorporate an Effective Region Extraction (ERE) module to excavate better target-specific features. Third, we introduce Cascade Voting Fusion (CVF) to explicitly exclude the inferior predictions and fuse the rest effective predictions for the final pose estimation. Extensive experimental results on two popular benchmarks, i.e. MPII and LSP, demonstrate the effectiveness of our method against the state-of-the-art competitors. Especially on easily-confusable joints, our method makes significant improvement.

研究动机与目标

• 为解决人体姿态估计中复杂纹理带来的挑战，包括严重遮挡、邻近人物及对称外观。
• 识别对称外观作为姿态估计中此前未被充分探索的混淆来源。
• 开发统一框架，同时提升数据增强、特征学习与预测融合能力，以增强抗混淆性能。
• 提升手腕、脚踝、膝盖和肘部等难预测关节点的性能。

提出的方法

• 提出基于解析的数据增强（PDA），通过分割并重新定位人体关节上的身体部位，合成逼真的复杂纹理。
• 引入特征金字塔主干（FPS），在不同分辨率下学习多尺度低级特征，以增强网络早期阶段的特征表示能力。
• 设计高效区域提取（ERE）模块，基于中间边界框预测裁剪人体区域，减少背景干扰并增强目标特异性特征。
• 开发级联投票融合（CVF）模块，排除低置信度预测，并通过加权平均自适应融合高质量候选结果，生成最终输出。
• 将所有组件整合至堆叠沙漏架构中，支持端到端训练与推理。

实验结果

研究问题

• RQ1 基于解析的数据增强能否有效模拟复杂混淆纹理，如遮挡和对称身体部位？
• RQ2 通过特征金字塔主干增强低级特征学习，是否能提升姿态估计的鲁棒性？
• RQ3 基于预测边界框的高效区域提取能否减少背景噪声并提升特征特异性？
• RQ4 通过排除低质量预测的级联投票融合，是否能带来更准确的最终姿态估计？

主要发现

• 在MPII验证集上，RANet的PCKh@0.5得分达到91.52%，优于先前最先进方法。
• 消融实验表明，PDA单独使用可提升准确率1.14%，FPS提升0.35%，ERE提升0.23%，而CVF与ERE结合时最高可提升1.06%。
• 在手腕和脚踝等难预测关节点上，RANet相比基线方法和先前方法有显著改进，预测误差的均值与方差均降低。
• CVF的最佳阈值接近候选点到其中心的平均距离；偏离该值将导致性能下降，证实了选择性融合的重要性。
• 统计分析表明，肢体关节点（尤其是手腕和脚踝）的误差方差高于躯干关节点，且水平方向预测通常比垂直方向更具挑战性。