[论文解读] A Comparison of Stereo-Matching Cost between Convolutional Neural Network and Census for Satellite Images

Bihe Chen, Rongjun Qin+3 more|arXiv (Cornell University)|May 22, 2019

Advanced Vision and Imaging参考文献 6被引用 4

一句话总结

本文比较了在卫星影像中使用快速卷积神经网络（fst-CNN）与Census变换进行立体匹配代价计算的效果。采用半全局匹配（SGM）方法，fst-CNN在绝对匹配精度、误差分布和完整性方面均优于Census，尽管两者性能处于同一数量级。

ABSTRACT

Stereo dense image matching can be categorized to low-level feature based matching and deep feature based matching according to their matching cost metrics. Census has been proofed to be one of the most efficient low-level feature based matching methods, while fast Convolutional Neural Network (fst-CNN), as a deep feature based method, has small computing time and is robust for satellite images. Thus, a comparison between fst-CNN and census is critical for further studies in stereo dense image matching. This paper used cost function of fst-CNN and census to do stereo matching, then utilized semi-global matching method to obtain optimized disparity images. Those images are used to produce digital surface model to compare with ground truth points. It addresses that fstCNN performs better than census in the aspect of absolute matching accuracy, histogram of error distribution and matching completeness, but these two algorithms still performs in the same order of magnitude.

研究动机与目标

• 评估并比较基于深度学习的（fst-CNN）与基于低层次特征的（Census）立体匹配代价度量在卫星影像中的性能。
• 评估不同代价函数对视差图质量与数字表面模型（DSM）精度的影响。
• 确定fst-CNN的计算效率是否能转化为在遥感应用中相对于Census的更优匹配性能。
• 将匹配完整性与误差分布作为关键性能指标，分析其在具有挑战性的卫星影像立体匹配中的表现。

提出的方法

• 采用基于fst-CNN的代价函数，利用卷积层提取的深度特征计算立体匹配代价。
• 使用Census变换基于滑动窗口内的局部强度模式计算匹配代价。
• 采用半全局匹配（SGM）方法，对两种代价函数生成的代价进行优化，得到视差图。
• 从优化后的视差图生成数字表面模型（DSMs），并与真实值点进行对比。
• 通过绝对匹配精度、误差分布直方图及匹配完整性指标评估性能。
• 在卫星影像对上开展实验，以确保结果与真实遥感场景的相关性。

实验结果

研究问题

• RQ1 fst-CNN在卫星影像中的立体匹配精度与Census相比如何？
• RQ2 基于fst-CNN与Census的立体匹配在误差分布上存在何种差异？
• RQ3 fst-CNN与Census在卫星影像上的匹配完整性表现如何？
• RQ4 fst-CNN的计算优势是否能转化为相对于Census的可测量性能提升？
• RQ5 在数字表面模型生成的背景下，fst-CNN与Census之间的性能差异是否具有统计显著性？

主要发现

• fst-CNN在卫星影像上的绝对匹配精度高于Census变换。
• 与Census相比，fst-CNN的误差分布更紧密地聚集在零值附近，表明大误差更少。
• fst-CNN在纹理贫乏或对比度低的区域（卫星影像中常见）表现出更优的匹配完整性。
• 尽管存在性能差异，fst-CNN与Census的性能处于同一数量级，表明Census仍是强有力的基线方法。
• 基于fst-CNN生成的视差图在与真实值点对比时，能生成更精确的数字表面模型。
• 结果证实，基于深度特征的方法（如fst-CNN）在卫星影像立体匹配中优于传统的低层次特征方法（如Census）。