[论文解读] Confidence driven TGV fusion

Valsamis Ntouskos, Fiora Pirri|arXiv (Cornell University)|Mar 30, 2016

Advanced Image Fusion Techniques参考文献 48被引用 5

一句话总结

本文提出了一种基于置信度驱动的总变差（TGV）融合模型，通过联合估计深度数据与空间可变的置信度值，以提升图像融合性能，尤其针对深度图像。通过构建双凸优化问题，并利用ACS、AMA和PDHG等算法，该方法在KITTI基准测试中，于反光区域的误差降低高达5.76%，性能优于当前最先进方法。

ABSTRACT

We introduce a novel model for spatially varying variational data fusion, driven by point-wise confidence values. The proposed model allows for the joint estimation of the data and the confidence values based on the spatial coherence of the data. We discuss the main properties of the introduced model as well as suitable algorithms for estimating the solution of the corresponding biconvex minimization problem and their convergence. The performance of the proposed model is evaluated considering the problem of depth image fusion by using both synthetic and real data from publicly available datasets.

研究动机与目标

• 为通过引入空间可变置信度值来解决计算视觉中的不适定数据融合问题。
• 通过利用空间一致性，联合估计数据与置信度值，以提升融合精度。
• 为所得双凸最小化问题开发收敛的优化算法。
• 在真实与合成的深度图像融合任务上评估该模型，证明其优于现有方法。

提出的方法

• 该模型通过引入双凸能量泛函扩展了变分融合方法：E(u) = F(Mu) + H(u,λ;d) + G(λ)，其中F为TGV正则化项，H通过空间可变置信度λ强制数据保真度，G则对置信度不一致性进行惩罚。
• 置信度值λ与数据u联合估计，使方法能够根据局部数据一致性自适应调整正则化强度。
• 优化问题通过交替最小化（AMA）与交替凸搜索（ACS）求解，双凸问题具有收敛性保证。
• 为处理空间可变的λ，对原始对偶混合梯度（PDHG）方法进行改进，并推导出确保收敛的步长边界。
• 该方法应用于深度图像融合，其中置信度基于多视角间的几何一致性推导得出。
• 在KITTI、Stanford 3D与Urban Landscapes数据集上，采用out-noc-3与avg-noc等标准指标对模型进行评估。

实验结果

研究问题

• RQ1 空间可变的置信度值是否能通过利用局部数据一致性来改善变分数据融合？
• RQ2 在双凸优化框架中，如何联合估计置信度值与数据？
• RQ3 AMA与ACS算法在具有非光滑泛函的所提双凸融合模型中是否收敛？
• RQ4 PDHG能否被适配并证明在基于TGV的融合中处理空间可变置信度时具有收敛性？
• RQ5 所提模型在准确性和鲁棒性方面与当前最先进深度图像融合方法相比表现如何？

主要发现

• 与KITTI基准中单对视差估计相比，该模型将out-noc-3误差降低了1.78%。
• 在反光区域，该模型相比最先进方法[55]，out-noc-3准确率提升3.14%，out-all-3误差降低5.76%。
• 在KITTI测试集上，该方法达到99.93%的密度得分，优于[55]的100%密度，且误差显著更低。
• 已证明AMA、ACS与PDHG在双凸公式下的收敛性，且为PDHG推导出步长边界。
• 该模型在合成与真实数据上均表现出鲁棒性能，包括具有挑战性的反光与遮挡区域。
• 消融研究证实，联合置信度估计显著优于固定或启发式置信度分配方式。