[论文解读] Hierarchical Discrete Distribution Decomposition for Match Density Estimation

Zhichao Yin, Trevor Darrell+1 more|arXiv (Cornell University)|Dec 15, 2018

Advanced Vision and Imaging参考文献 53被引用 16

一句话总结

该论文提出了一种名为分层离散分布分解（HD³）的新框架，用于光学流和立体匹配中的概率像素对应估计。通过在多尺度特征金字塔上分层分解完整的匹配分布，并将局部分布条件化于粗粒度尺度的预测结果，HD³ 实现了复杂、非参数化匹配分布的高效端到端学习，具备固有的不确定性估计能力，在 MPI Sintel 和 KITTI 基准测试中达到最先进性能，同时提供可靠的不确定性感知预测。

ABSTRACT

Explicit representations of the global match distributions of pixel-wise correspondences between pairs of images are desirable for uncertainty estimation and downstream applications. However, the computation of the match density for each pixel may be prohibitively expensive due to the large number of candidates. In this paper, we propose Hierarchical Discrete Distribution Decomposition (HD^3), a framework suitable for learning probabilistic pixel correspondences in both optical flow and stereo matching. We decompose the full match density into multiple scales hierarchically, and estimate the local matching distributions at each scale conditioned on the matching and warping at coarser scales. The local distributions can then be composed together to form the global match density. Despite its simplicity, our probabilistic method achieves state-of-the-art results for both optical flow and stereo matching on established benchmarks. We also find the estimated uncertainty is a good indication of the reliability of the predicted correspondences.

研究动机与目标

• 解决在光学流和立体匹配中显式建模像素级对应关系的全局匹配分布所带来的高计算成本问题。
• 实现复杂、非参数化匹配分布的端到端学习，避免对高斯噪声等限制性参数假设的依赖。
• 将模型固有的不确定性估计整合到学习过程中，提升预测可靠性与下游任务的鲁棒性。
• 将完整匹配分布分解为分层的、按尺度划分的局部分布，以实现高效计算与组合。
• 在标准基准测试中实现最先进性能，同时提供可解释的不确定性度量。

提出的方法

• HD³ 使用类似四叉树的结构，将全局匹配分布分层分解为多个层级，并在每个尺度上估计局部匹配分布。
• 通过深度层聚合（DLA）主干网络提取多尺度特征，以实现不同尺度间的计算-精度权衡。
• 在每个尺度上，通过迭代特征变形，基于粗粒度层级的匹配与变形结果，条件性地预测匹配密度。
• 密度旁路连接在不同尺度间传播条件信息，实现完整匹配分布的分层组合。
• 该框架通过专用的 D2V（分布转向量）和 V2D（向量转分布）模块，支持点估计与完整匹配分布之间的转换。
• 不确定性直接从估计的离散匹配分布中推导得出，实现误差感知预测，无需事后校准。

实验结果

研究问题

• RQ1 分层分解匹配分布是否能在保持准确性的前提下提升密集对应估计的计算效率？
• RQ2 非参数化、离散的匹配分布表示是否能优于高斯噪声等参数假设，在建模复杂运动模式方面表现更优？
• RQ3 分层匹配密度的端到端学习是否能产生优于事后置信度度量的不确定性估计？
• RQ4 该框架是否能在包括合成数据（MPI Sintel）和真实世界数据（KITTI）在内的多样化数据集上实现良好泛化？
• RQ5 估计的不确定性在遮挡区域和细长结构等挑战性区域中，与实际预测误差的相关性如何？

主要发现

• HD³ 在 MPI Sintel 和 KITTI 基准测试中均达到最先进性能，优于所有两帧光学流方法，并在 KITTI 2012 和 2015 上超越了多个场景流模型。
• 在 MPI Sintel 上，HD³ 在最终测试阶段的平均端到端误差（EPE）为 0.565，在干净测试阶段为 0.379，后者即使在训练阶段未使用干净测试数据的情况下也未被超越。
• 在 KITTI 2012 上，HD³ 达到最低的 F1-Noc 得分 96.1%；在 KITTI 2015 上，达到最低的 F1-all 得分 91.8%，优于多种先进的场景流模型。
• HD³ 在 Sintel 清晰集上的平均对数似然为 -1.487，在 Sintel 最终集上为 -1.821，表明其在匹配分布的概率建模方面优于基线方法。
• 通过 HD³ 估计的不确定性与预测误差高度相关：在 KITTI 2015 上，异常值分类的 IoU 达到 96.1%，准确率达到 97.8%，优于前向-后向一致性检查。
• 定性结果表明，HD³ 在估计细长结构和遮挡边界方面表现优异，其置信度图能清晰标识出模糊区域的不确定性。