[论文解读] Multi-Person Pose Estimation via Column Generation

Shaofei Wang, Chong Zhang+3 more|arXiv (Cornell University)|Sep 18, 2017

Human Pose and Action Recognition参考文献 14被引用 3

一句话总结

本文提出了一种新颖的整数线性规划（ILP）公式，用于多人姿态估计，采用两级分层结构——局部部件分组与通过增强树结构实现的全局姿态建模——并结合自定义的列生成算法。该方法在MPII基准测试中实现了最先进精度，优于以往工作在手腕和脚踝等困难身体部位定位方面的表现，且比[12]快100倍，比[15]更准确，尽管其边结构更简单且仅使用纯Python代码。

ABSTRACT

We study the problem of multi-person pose estimation in natural images. A pose estimate describes the spatial position and identity (head, foot, knee, etc.) of every non-occluded body part of a person. Pose estimation is difficult due to issues such as deformation and variation in body configurations and occlusion of parts, while multi-person settings add complications such as an unknown number of people, with unknown appearance and possible interactions in their poses and part locations. We give a novel integer program formulation of the multi-person pose estimation problem, in which variables correspond to assignments of parts in the image to poses in a two-tier, hierarchical way. This enables us to develop an efficient custom optimization procedure based on column generation, where columns are produced by exact optimization of very small scale integer programs. We demonstrate improved accuracy and speed for our method on the MPII multi-person pose estimation benchmark.

研究动机与目标

• 为解决多人姿态估计中的挑战，包括遮挡、可变身体构型以及未知人数的问题。
• 提升对难以定位的身体部位（如手腕和脚踝）的定位精度，这些部位在现有方法中常被误检。
• 开发一种更高效的优化框架，避免姿态模型中密集成对交互带来的计算负担。
• 通过结构化变量设计，自然地将非极大值抑制整合到姿态估计模型中。
• 证明：通过高效列生成的精心设计的ILP公式，可实现优越的速度-精度权衡。

提出的方法

• 将多人姿态估计建模为两级整数线性规划（ILP）：局部分配将多个检测结果归为同一身体部位，全局姿态通过增强树结构强制解剖一致性。
• 使用列生成求解ILP，其中定价子问题通过在树状姿态模型上使用动态规划求解，实现高效的列生成。
• 采用小规模精确整数规划生成列，确保高质量解，而无需依赖启发式松弛。
• 引入一种代价函数，排除来自不同人员的非全局检测之间的噪声成对交互，提升定位鲁棒性。
• 在需要时使用大小为三的奇数集不等式收紧LP松弛，尽管整数解通常在终止时即可直接获得。
• 使用启发式权重 ω = 30 来抑制检测数较少的姿态，偏好更完整、更可靠的配置。

实验结果

研究问题

• RQ1 与全连接模型相比，基于结构化局部与全局组件的两级ILP公式是否能提升多人姿态估计的精度？
• RQ2 基于树状姿态的动态规划列生成方法，是否能实现比标准ILP求解器更快、更准确的推理？
• RQ3 排除非全局检测之间的噪声成对交互，是否能改善手腕和脚踝等难检测身体部位的定位？
• RQ4 结构化模型在多大程度上减少了对后处理（如非极大值抑制）的依赖？
• RQ5 与近期最先进方法[15]相比，该方法在速度和精度方面表现如何，尤其是在困难身体部位上？

主要发现

• 所提方法在MPII多人姿态估计基准测试中达到79.1的平均精度（mAP），优于[15]（78.5）和[12]（78.8）。
• 方法在困难部位上的AP表现更优：手腕为70.1（[15]为68.6），脚踝为66.6（[15]为65.2）。
• 尽管使用了更简单的边结构（更少的成对连接），该方法仍比[12]和[15]（均使用全连接模型）精度更高。
• 该方法比[12]快100倍，且比[15]快10倍，尽管仅使用纯Python实现且未并行化。
• LP松弛通常直接产生整数解，表明该公式的整数性性质极强。
• 增加三条额外边（左髋至左肩、右髋至右肩、双肩至头部）使mAP从78.8提升至79.1，运行时间增加可忽略。