[论文解读] Continuous Stereo Matching using Local Expansion Moves.

Tatsunori Taniai, Yasuyuki Matsushita+2 more|arXiv (Cornell University)|Mar 28, 2016

Advanced Vision and Imaging被引用 5

一句话总结

本文提出一种基于局部扩展移动的连续立体匹配方法——一种新颖的图割移动机制，通过引入局部化与空间传播，改进了传统扩展移动方法。该方法能够在大规模或连续的标签空间中实现高效优化，在Middlebury基准测试中实现了最先进的亚像素精度，优于以往的融合与信念传播方法。

ABSTRACT

We present an accurate and efficient stereo matching method using local expansion moves, a new move making scheme using graph cuts. The local expansion moves are presented as many alpha-expansions defined for small grid regions. The local expansion moves extend the traditional expansion moves by two ways: localization and spatial propagation. By localization, we use different candidate alpha-labels according to the locations of local alpha-expansions. By spatial propagation, we design our local alpha-expansions to propagate currently assigned labels for nearby regions. With this localization and spatial propagation, our method can efficiently infer Markov random field models with a huge or continuous label space using a randomized search scheme. Our local expansion move method has several advantages over previous approaches that are based on fusion moves or belief propagation; it produces submodular moves deriving a subproblem optimality; it helps find good, smooth, piecewise linear disparity maps; it is suitable for parallelization; it can use cost-volume filtering techniques for accelerating the matching cost computations. Our method is evaluated using the Middlebury stereo benchmark and shown to have the best performance in sub-pixel accuracy.

研究动机与目标

• 解决在立体匹配中优化具有大规模或连续视差标签空间的马尔可夫随机场的挑战。
• 通过引入一种新型移动机制，扩展传统扩展移动方法，提升立体匹配的效率与精度。
• 通过局部化与空间传播的alpha扩展，实现可子模化且可优化的子问题。
• 利用成本体积滤波技术，支持并行化处理并加速成本计算。
• 以计算高效的方式实现高精度、平滑且分段线性的视差图。

提出的方法

• 该方法将局部扩展移动定义为在小网格区域上的多个alpha扩展，基于空间上下文实现局部候选标签选择。
• 通过利用相邻区域当前分配的标签来引导当前局部扩展中的标签选择，实现空间传播，提升一致性。
• 采用随机搜索策略，高效探索马尔可夫随机场优化中的大规模或连续标签空间。
• 从局部扩展移动中推导出子模子问题，确保每一步移动的最优性。
• 集成成本体积滤波技术以加速匹配成本计算，提升整体效率。
• 该框架设计为高度可并行化，可在现代硬件上实现可扩展的性能。

实验结果

研究问题

• RQ1 如何将扩展移动扩展以高效处理立体匹配中大规模或连续的视差标签空间？
• RQ2 与全局扩展移动相比，局部化且空间传播的alpha扩展是否能提升视差图的质量与平滑性？
• RQ3 与现有方法（如融合移动或信念传播）相比，该方法在精度与效率方面有多大的性能提升？
• RQ4 局部扩展移动的子模性质是否能在保持计算效率的同时，保证每一步移动的最优性？
• RQ5 成本体积滤波与并行化集成在加速立体匹配流水线方面的有效性如何？

主要发现

• 所提方法在Middlebury立体匹配基准上实现了最佳的亚像素精度，优于现有的融合与基于信念传播的方法。
• 采用局部alpha扩展可实现更依赖上下文的标签选择，从而生成更平滑、更精确的视差图。
• 空间传播显著提升了相邻区域间的标签一致性，减少了最终视差图中的噪声与伪影。
• 该方法的子模移动结构确保每一步移动均被最优求解，有助于收敛至高质量解。
• 成本体积滤波与并行化的集成带来了显著的速度提升，且未牺牲精度。
• 随机搜索策略能有效探索大规模或连续的标签空间，使该方法在实际应用中具备良好的可扩展性与实用性。