[论文解读] Exploiting skeletal structure in computer vision annotation with Benders decomposition

Shaofei Wang, Konrad P. Körding+1 more|arXiv (Cornell University)|Sep 13, 2017

Machine Learning and Data Classification参考文献 24被引用 4

一句话总结

本文提出Benders列生成（BCG），一种新颖的分解方法，通过在多人姿态估计中利用骨架结构，将骨架优化与局部分配优化通过Benders分解分离。与纯列生成相比，该方法通过独立求解各部件子问题，实现了更快的收敛速度和更紧的边界，显著提升了计算机视觉中复杂整数线性规划（ILP）公式在推理速度和解质量方面的表现。

ABSTRACT

Many annotation problems in computer vision can be phrased as integer linear programs (ILPs). The use of standard industrial solvers does not to exploit the underlying structure of such problems eg, the skeleton in pose estimation. The leveraging of the underlying structure in conjunction with industrial solvers promises increases in both speed and accuracy. Such structure can be exploited using Bender's decomposition, a technique from operations research, that solves complex ILPs or mixed integer linear programs by decomposing them into sub-problems that communicate via a master problem. The intuition is that conditioned on a small subset of the variables the solution to the remaining variables can be computed easily by taking advantage of properties of the ILP constraint matrix such as block structure. In this paper we apply Benders decomposition to a typical problem in computer vision where we have many sub-ILPs (eg, partitioning of detections, body-parts) coupled to a master ILP (eg, constructing skeletons). Dividing inference problems into a master problem and sub-problems motivates the development of a plethora of novel models, and inference approaches for the field of computer vision.

研究动机与目标

• 为解决标准整数线性规划（ILP）求解器在多人姿态估计（MPPE）中计算效率低下的问题，该问题未能充分利用潜在的骨架结构。
• 通过利用人体姿态的分层树状结构，在优化过程中提升推理速度与解的质量。
• 开发一种分解框架，比现有方法更有效地分离整数与连续变量，从而实现更快的收敛速度。
• 通过Benders分解实现子问题的并行化，同时保持强对偶性边界。
• 证明各部件特定的子问题可独立求解，从而在大规模问题上实现更高的可扩展性。

提出的方法

• 将MPPE的两层公式（TTF）重新表述为混合整数线性规划（MILP），其中主问题针对骨架，子问题针对局部分配。
• 应用Benders分解，将主问题（骨架）与子问题（局部分配）解耦，基于主问题的解独立求解各部分。
• 使用对偶子问题按需生成Benders割线，将违反的约束迭代添加至主问题。
• 在定价步骤中，利用动态规划与显式枚举识别高质量的骨架与局部分配。
• 采用基于对偶的列生成策略求解主问题，其割线来源于每个部件特定子问题的对偶。
• 提出一种新型分解方式，每个身体部位拥有独立的子问题，不同于传统Benders方法中使用单一聚合子问题的做法。

实验结果

研究问题

• RQ1 Benders分解能否有效应用于计算机视觉标注问题（如多人姿态估计）中的骨架结构？
• RQ2 通过Benders分解将骨架优化与局部分配优化分离，是否能实现比纯列生成更快的收敛速度和更紧的边界？
• RQ3 在保持强对偶性与全局最优性的同时，是否可独立求解各部件特定的子问题？
• RQ4 在真实世界MPPE实例中，BCG与纯列生成相比，在解质量与计算时间方面表现如何？
• RQ5 Benders分解能否在不依赖Lagrangian松弛的情况下，实现子问题的高效并行化？

主要发现

• BCG在收敛速度与对偶间隙方面优于纯列生成（PCG），如在688个问题实例上的归一化间隙-时间曲线所示。
• 该方法显著降低了计算时间，更多问题在更短时间阈值内完成，如累积直方图所示。
• BCG产生更紧的对偶边界，更多问题在终止时实现了更小的上下界间隙。
• 该方法成功实现骨架与局部分配优化的解耦，支持独立且可并行化的子问题求解。
• 在BCG的LP求解器中观察到数值不稳定性，而PCG中未出现，表明该分解框架可能对求解器敏感。
• 使用部件特定子问题可实现更细粒度且高效的割线生成，从而改善整体收敛行为。