[论文解读] Discrete Energy Minimization, beyond Submodularity: Applications and Approximations

Shai Bagon|arXiv (Cornell University)|Oct 27, 2012

Advanced Image and Video Retrieval Techniques参考文献 120被引用 3

一句话总结

该论文提出了一套新颖的近似算法，用于优化具有挑战性的非子模离散能量函数——特别是对比度增强型和任意Potts型能量函数——超越了传统以平滑性为导向的模型。该工作提出了一套统一的多尺度框架，结合代数粗化与能量感知插值，实现了在3D重建、聚类和交互式分割等多样化视觉任务中高效、大规模的优化，其在问题规模上实现了较之前方法大两个数量级的突破。

ABSTRACT

In this thesis I explore challenging discrete energy minimization problems that arise mainly in the context of computer vision tasks. This work motivates the use of such "hard-to-optimize" non-submodular functionals, and proposes methods and algorithms to cope with the NP-hardness of their optimization. Consequently, this thesis revolves around two axes: applications and approximations. The applications axis motivates the use of such "hard-to-optimize" energies by introducing new tasks. As the energies become less constrained and structured one gains more expressive power for the objective function achieving more accurate models. Results show how challenging, hard-to-optimize, energies are more adequate for certain computer vision applications. To overcome the resulting challenging optimization tasks the second axis of this thesis proposes approximation algorithms to cope with the NP-hardness of the optimization. Experiments show that these new methods yield good results for representative challenging problems.

研究动机与目标

• 通过在真实应用场景中展示其表达能力和准确性，证明在计算机视觉中使用非子模、对比度增强型能量的合理性。
• 针对此类能量函数优化的NP难问题，开发实用且可扩展的近似算法。
• 将离散多尺度优化与代数多重网格方法统一，实现从粗到精的能量最小化。
• 实现对表达性强、非平滑能量函数的学习，以更好地建模复杂数据，如汉字和人体部位。
• 证明通过所提框架实现任意Potts能量最小化可无监督地恢复聚类数量，克服标准聚类方法的关键局限。

提出的方法

• 提出一种统一的离散多尺度框架，通过基于能量的代数插值对变量或标签进行粗化，保留底层能量景观。
• 引入跨尺度的能量感知插值，使粗化过程适应能量结构，而非依赖固定规则。
• 将相关聚类问题视为任意Potts能量最小化的特例，从而可应用离散优化工具。
• 改进并扩展现有的离散优化技术（如线性规划松弛、消息传递），以处理大规模标签空间和非子模项。
• 通过矩阵运算定义粗化过程：$\mathbf{V}^{\hat{c}}_{\boldsymbol{\alpha},\boldsymbol{\beta},\ldots} = \sum_{\alpha,\beta,\ldots} \mathbf{V}^{f}_{\alpha,\beta,\ldots} \hat{P}_{\alpha\boldsymbol{\alpha}} \hat{P}_{\beta\boldsymbol{\beta}} \cdots$，与代数多重网格方法建立联系。
• 将该框架应用于3D形状重建、交互式分割和无监督聚类，展示了在大规模问题上的可扩展性与准确性。

实验结果

研究问题

• RQ1 在视觉任务中，对比度增强型非子模能量是否能比平滑性鼓励型能量提供更高的建模精度？
• RQ2 尽管存在NP难性，如何高效地近似大规模非子模离散能量最小化？
• RQ3 统一的多尺度框架能否揭示并利用复杂能量的内在多尺度结构以实现有效优化？
• RQ4 任意Potts能量最小化在无监督学习中，能在多大程度上无须先验聚类数量信息而恢复聚类数量？
• RQ5 代数多重网格原理如何适配于视觉应用中的离散多尺度优化？

主要发现

• 所提出的多尺度框架使离散能量的优化规模达到现有方法的两个数量级以上，展示了在大规模问题上的可扩展性。
• 通过任意Potts能量最小化实现的相关聚类在无监督人脸识别和草图任务中成功恢复了聚类数量，且无需输入聚类数。
• 该框架在从运动和光照线索进行3D形状重建时，对具有数千个标签的复杂能量也实现了良好的经验近似。
• 跨尺度的能量感知插值通过在粗化过程中保留关键能量特征，提升了收敛速度与解的质量。
• 在无子模性约束下学习离散能量可实现更好的泛化能力，因为对比度增强项能更准确捕捉汉字识别和人体部位识别等任务中的底层数据统计特性。
• 粗化过程的代数表述在离散多尺度优化与数值PDE求解器之间建立了正式桥梁，使成熟的多重网格技术得以迁移应用。