[论文解读] Joint Graph Decomposition and Node Labeling: Problem, Algorithms, Applications

Evgeny Levinkov, Jonas Uhrig+8 more|arXiv (Cornell University)|Nov 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 28被引用 15

一句话总结

本文提出了最小代价节点标注提升多子图问题（nl-lmp），这是一种新颖的NP难组合优化框架，联合建模图分解与节点标注。它提出了两种局部搜索算法KLj/r与KLj*r，这两种算法单调收敛至局部最优解，在多个计算机视觉任务中实现了最先进（SOTA）的准确率，包括多目标跟踪、实例分离语义分割以及关节人体姿态估计，通过求解统一的nl-lmp公式而无需近似保证，但每一步均能提供可行解。

ABSTRACT

We state a combinatorial optimization problem whose feasible solutions define both a decomposition and a node labeling of a given graph. This problem offers a common mathematical abstraction of seemingly unrelated computer vision tasks, including instance-separating semantic segmentation, articulated human body pose estimation and multiple object tracking. Conceptually, the problem we state generalizes the unconstrained integer quadratic program and the minimum cost lifted multicut problem, both of which are NP-hard. In order to find feasible solutions efficiently, we define two local search algorithms that converge monotonously to a local optimum, offering a feasible solution at any time. To demonstrate their effectiveness in tackling computer vision tasks, we apply these algorithms to instances of the problem that we construct from published data, using published algorithms. We report state-of-the-art application-specific accuracy for the three above-mentioned applications.

研究动机与目标

• 将看似无关的计算机视觉任务——多目标跟踪、实例分离语义分割与关节人体姿态估计——统一于单一组合优化框架之下。
• 定义无约束整数二次规划（uiqp）与最小代价提升多子图问题（lmp）的推广形式，联合建模图分解与节点标注。
• 开发高效的局部搜索算法，单调收敛至局部最优解，且在任何时刻均提供可行解，无需计算下界。
• 在真实世界基准上验证所提框架与算法的有效性，实现应用特定的最先进准确率。
• 通过开源代码，促进计算机视觉与组合优化领域的跨学科合作。

提出的方法

• 提出nl-lmp问题，该问题同时推广了无约束整数二次规划（uiqp）与最小代价提升多子图问题（lmp），允许标签影响组件形成，反之亦然。
• 定义两种局部搜索算法：KLj/r（交替Kernighan-Lin算法，含合并与重标记）与KLj*r（联合Kernighan-Lin算法，含合并与重标记），两者均旨在通过迭代方式逐步提升解的质量。
• 算法执行局部移动，交替进行节点重新分配至组件与节点标签更改，由一个平衡标注成本与分解成本的目标函数引导。
• 算法不计算下界，因此作为原始可行启发式方法，在每次迭代中返回可行解。
• 该框架支持复杂的代价函数，其中合并或分离节点的代价取决于其标签，从而实现对视觉关系的更丰富建模。
• 在KITTI、Cityscapes与MOT16基准的真实数据上应用算法，使用已发表的目标检测与嵌入特征构建nl-lmp实例。

实验结果

研究问题

• RQ1 能否通过单一组合优化框架统一需要图分解与节点标注的多样化计算机视觉任务？
• RQ2 如何将分解与标注的联合优化形式化为现有NP难问题（如uiqp与lmp）的推广？
• RQ3 能否通过单调收敛至局部最优的局部搜索算法，在多目标跟踪与实例分割等任务中超越现有方法？
• RQ4 同一算法框架在无需任务特定重参数化的前提下，能否在多种差异显著的视觉任务中实现SOTA性能？
• RQ5 与以往分别求解分解与标注的方案相比，所提框架是否能实现更准确且高效的解决方案？

主要发现

• 所提出的KLj/r与KLj*r算法在MOT16多目标跟踪基准上实现了最先进MOTA（47.6）与MOTP（78.5）得分，优于先前工作[36]及其他顶尖方法。
• 与[36]相比，KLj/r将误报数（5,844）与漏报数（89,093）均降低，后者报告值分别为6,373与90,914，表明检测与跟踪准确率得到提升。
• KLj/r每帧的平均逆运行时间（Hz）为8.3，显著高于其他方法，证明其计算效率更优。
• 在Cityscapes数据集上，该框架在使用相同输入特征的前提下，实现了比以往所有已发表工作更准确的实例分离语义分割结果。
• 在MPII人体姿态数据集上，由于计算速度更快，该框架能够求解更大规模问题实例，从而实现比以往方法更精确的姿态估计，即使原始分支定界法计算了下界。
• 图4实证验证了KLj/r与KLj*r的收敛性，显示KLj/r收敛速度优于KLj*r，同时达到相同的最优目标值。