[论文解读] A Unified Multiscale Framework for Discrete Energy Minimization

Shai Bagon, Meirav Galun|arXiv (Cornell University)|Apr 22, 2012

Visual Attention and Saliency Detection参考文献 19被引用 3

一句话总结

本文提出了一种统一的多尺度框架，用于离散能量最小化，该框架直接从能量函数构建能量金字塔，从而实现对解空间的高效探索。通过使用能量感知插值对变量或标签进行粗化，该方法在子模和非子模能量上均提升了优化性能，其能量值更低且收敛速度更快，优于当前最先进方法。

ABSTRACT

Discrete energy minimization is a ubiquitous task in computer vision, yet is NP-hard in most cases. In this work we propose a multiscale framework for coping with the NP-hardness of discrete optimization. Our approach utilizes algebraic multiscale principles to efficiently explore the discrete solution space, yielding improved results on challenging, non-submodular energies for which current methods provide unsatisfactory approximations. In contrast to popular multiscale methods in computer vision, that builds an image pyramid, our framework acts directly on the energy to construct an energy pyramid. Deriving a multiscale scheme from the energy itself makes our framework application independent and widely applicable. Our framework gives rise to two complementary energy coarsening strategies: one in which coarser scales involve fewer variables, and a more revolutionary one in which the coarser scales involve fewer discrete labels. We empirically evaluated our unified framework on a variety of both non-submodular and submodular energies, including energies from Middlebury benchmark.

研究动机与目标

• 通过利用多尺度策略，解决计算机视觉中离散能量最小化的NP难问题。
• 通过构建多尺度能量金字塔，克服现有基于图像金字塔方法的局限性。
• 开发一种通用、与应用无关的框架，适用于多种能量最小化问题。
• 在当前方法产生不令人满意近似解的复杂非子模能量上，提升优化性能。
• 通过合理粗化揭示能量的多尺度结构，实现高效的粗到细优化。

提出的方法

• 通过使用能量感知插值保留结构特性，对原始能量函数进行粗化，构建能量金字塔。
• 提出两种粗化策略：减少变量数量（空间粗化）和减少离散标签数量（标签粗化）。
• 基于一元项和成对项，提出一种基于能量感知的变量间一致性度量，以指导插值和粗化过程。
• 在每个尺度上使用简单的局部求解器（如ICM、αβ-交换），并从粗到细层级传递信息。
• 采用闭式公式估计标签相关性，实现高效的标签粗化，从而快速构建基于标签的金字塔。
• 将该框架与标准离散优化算法集成，使其可作为即插即用的增强模块应用于现有求解器。

实验结果

研究问题

• RQ1 能否设计一种统一的多尺度框架，直接作用于能量函数而非图像数据？
• RQ2 如何有效揭示并利用离散能量的多尺度结构以提升优化性能？
• RQ3 能量感知的变量和标签粗化是否能提升非子模能量上的优化性能？
• RQ4 不同的一致性估计方法对所构建能量金字塔质量的影响如何？
• RQ5 标签粗化在高标签数量问题上，对αβ-交换算法的可扩展性和性能提升程度如何？

主要发现

• 所提出的能量感知一致性度量在估计变量相关性方面始终优于现有方法（如一元差异、均值兼容性），从而获得更优的多尺度优化结果。
• 在Middlebury立体匹配基准测试中，该方法在去噪任务中达到下界能量值的103.6%，在立体匹配任务中达到106.0%，显著优于单尺度αβ-交换方法（分别为111.3%和128.7%）。
• 在Penguin图像修复任务中，单尺度ICM无法填充大范围缺失区域，而多尺度框架成功实现了跨间隙的信息传播。
• 对于去噪任务，标签粗化将优化时间从单尺度的253秒减少至最粗尺度的128秒，同时能量值从下界的111.3%提升至103.6%。
• 在一系列非子模和子模能量上，该框架获得的能量值与当前最先进方法相当或更低，证明了其广泛适用性。
• 能量金字塔构建效率高，由于采用标签相关性估计的闭式公式，标签粗化仅耗时数毫秒。