[论文解读] EvoPose2D: Pushing the Boundaries of 2D Human Pose Estimation using Neuroevolution

William McNally, Kanav Vats+2 more|arXiv (Cornell University)|Nov 17, 2020

Human Pose and Action Recognition参考文献 36被引用 17

一句话总结

EvoPose2D 提出了一种基于神经演化的方法，用于 2D 人体姿态估计，通过一种新颖的权重迁移方案放松函数保持型突变，加速了网络架构搜索。该方法使高效且高精度的神经网络得以发现——EvoPose2D-S 在参数量减少 13.5 倍、浮点运算量减少 4.9 倍的情况下，达到与 SimpleBaseline 相当的精度；而 EvoPose2D-L 在 COCO 上实现了新的 SOTA 性能，其运算量比最接近的竞争对手减少 2.0 倍，参数量减少 4.3 倍。

ABSTRACT

Neural architecture search has proven to be highly effective in the design of computationally efficient, task-specific convolutional neural networks across several areas of computer vision. In 2D human pose estimation, however, its application has been limited by high computational demands. Hypothesizing that neural architecture search holds great potential for 2D human pose estimation, we propose a new weight transfer scheme that relaxes function-preserving mutations, enabling us to accelerate neuroevolution in a flexible manner. Our method produces 2D human pose network designs that are more efficient and more accurate than state-of-the-art hand-designed networks. In fact, the generated networks can process images at higher resolutions using less computation than previous networks at lower resolutions, permitting us to push the boundaries of 2D human pose estimation. Our baseline network designed using neuroevolution, which we refer to as EvoPose2D-S, provides comparable accuracy to SimpleBaseline while using 4.9x fewer floating-point operations and 13.5x fewer parameters. Our largest network, EvoPose2D-L, achieves new state-of-the-art accuracy on the Microsoft COCO Keypoints benchmark while using 2.0x fewer operations and 4.3x fewer parameters than its nearest competitor.

研究动机与目标

• 为解决将神经架构搜索（NAS）应用于 2D 人体姿态估计时计算成本过高的问题。
• 开发一种灵活且高效的神经演化框架，以减少架构搜索所需的时间和资源。
• 生成轻量化但高精度的卷积神经网络，用于 2D 人体姿态估计。
• 通过在更低计算成本下实现高分辨率推理，突破姿态估计的性能边界。
• 在 COCO 关键点基准上，超越人工设计的 SOTA 模型，在准确率和效率方面均表现更优。

提出的方法

• 提出一种权重迁移方案，放松函数保持型突变，从而在神经演化过程中实现更快收敛。
• 采用神经演化方法搜索最优的 2D 人体姿态估计架构，无需依赖基于梯度的优化。
• 引入一种灵活的搜索策略，在显著降低计算需求的同时保持性能。
• 通过在 COCO 数据集上的演化搜索，设计出两种模型——EvoPose2D-S（小型）和 EvoPose2D-L（大型）。
• 采用渐进式搜索策略，允许在代际之间对架构进行演化与权重迁移，同时放宽对参数共享的约束。
• 在 COCO 关键点基准上评估最终架构，以衡量其准确率与效率。

实验结果

研究问题

• RQ1 尽管计算成本较高，神经演化是否仍可有效应用于 2D 人体姿态估计？
• RQ2 如何通过权重迁移与放松的突变约束，加速姿态估计中的神经演化过程？
• RQ3 演化得到的架构能否在准确率与效率上超越人工设计的模型？
• RQ4 在计算资源减少的情况下，演化架构在多大程度上可实现高分辨率推理？
• RQ5 神经演化能否生成在准确率与 FLOPs/参数效率方面均超越 SOTA 性能的模型？

主要发现

• EvoPose2D-S 在 COCO 关键点精度上与 SimpleBaseline 相当，但浮点运算量减少 4.9 倍，参数量减少 13.5 倍。
• EvoPose2D-L 在 COCO 关键点基准上实现了新的 SOTA 准确率，超越了其最接近的竞争对手。
• 与次优模型相比，EvoPose2D-L 的运算量减少 2.0 倍，参数量减少 4.3 倍，展现出卓越的效率。
• 所提出的权重迁移方案可在不损失性能的前提下实现更快的神经演化，使 NAS 在姿态估计中具备可行性。
• 所演化出的网络可在更低计算量下处理更高分辨率图像，优于以往在较低分辨率下运行的模型。
• 结果证实，神经演化可生成在 2D 人体姿态估计中准确率与效率均超越人工设计架构的模型。