[论文解读] Learning Dense Stereo Matching for Digital Surface Models from Satellite Imagery

Wayne Treible, Scott Sorensen+3 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Vision and Imaging参考文献 18被引用 5

一句话总结

本文提出了一种基于深度学习的立体匹配网络，专为从卫星影像生成高质量数字表面模型（DSMs）而设计，采用结合合成立体数据集与真实卫星图像对（LiDAR衍生真值）的混合训练方案。与传统半全局匹配（SGM）方法相比，该方法在城市区域和阴影区域表现出更优的边缘保持性和表面平滑性。

ABSTRACT

Digital Surface Model generation from satellite imagery is a difficult task that has been largely overlooked by the deep learning community. Stereo reconstruction techniques developed for terrestrial systems including self driving cars do not translate well to satellite imagery where image pairs vary considerably. In this work we present neural network tailored for Digital Surface Model generation, a ground truthing and training scheme which maximizes available hardware, and we present a comparison to existing methods. The resulting models are smooth, preserve boundaries, and enable further processing. This represents one of the first attempts at leveraging deep learning in this domain.

研究动机与目标

• 解决从卫星立体像对生成精确数字表面模型（DSMs）的挑战，该挑战受时间、光照和几何变化的复杂影响。
• 克服地面立体匹配方法（专为同步、短基线影像设计）在应用于基线较大且非同步获取的卫星数据时的局限性。
• 开发一种面向卫星影像的专用深度神经网络架构，确保在场景和光照变化下仍具备鲁棒的视差估计能力。
• 通过利用LiDAR点云投影开发一种新颖的真值生成流程，实现在卫星图像对上的监督训练。
• 通过将合成立体数据（Sceneflow）与真实卫星影像结合的混合训练策略，提升DSM的泛化能力与边缘保持性。

提出的方法

• 设计一种基于残差编码器的神经网络，采用共享分支特征提取与空间金字塔池化，以扩大感受野并增强上下文建模能力。
• 使用混合数据集进行网络训练：20,000张来自Sceneflow合成立体基准的数据与30,000对具有LiDAR衍生视差真值的真实卫星图像。
• 实施两阶段训练流程：首先在Sceneflow上微调，然后使用恒定的0.001初始学习率，联合在卫星与合成数据上进行训练。
• 训练期间采用平滑L1损失函数，以最小化视差回归误差并提升对异常值的鲁棒性。
• 采用加权融合策略，将成对视差图融合为最终的高分辨率DSM，以保留结构细节并降低噪声。
• 通过使用有理多项式相机（RPC）模型将LiDAR点云投影到卫星图像对上，生成真值视差图。

实验结果

研究问题

• RQ1 在合成立体数据上预训练的深度神经网络，能否通过真实卫星影像有效微调，以生成准确且泛化能力强的视差图？
• RQ2 在复杂城市环境中，引入具有LiDAR衍生真值的真实卫星图像对，如何提升立体匹配性能？
• RQ3 何种训练策略——从合成数据迁移学习、在卫星数据上端到端微调，或混合方法——能实现对未见卫星区域的最佳泛化能力？
• RQ4 与传统半全局匹配（SGM）方法相比，所提出的网络在DSM中对锐利边缘和结构细节的保持程度如何？
• RQ5 在阴影区域、高植被区或人工结构密集区域等挑战性区域，网络表现如何？

主要发现

• ‘完整’迁移训练流程——即在合成与真实卫星数据上同时训练——在测试集上实现了最低的回归损失（21.943），优于传统迁移与混合训练策略。
• 网络生成的DSM在建筑物边缘方面显著更清晰，且对建筑特征的保持性更优，尤其在阴影区域表现突出。
• SGM方法在建筑物阴影区域产生了模糊、无结构的区域，而神经网络则保持了连贯且结构化的几何形态。
• 尽管边缘保持性得到改善，网络仍对细小细节（如屋顶通风装置和管道）存在过度平滑现象，可能源于为节省内存而进行的下采样。
• 混合训练流程的损失最高（25.452），表明泛化能力较差，可能由于域偏移及对卫星数据中城市场景的过拟合。
• 网络生成的最终DSM更加平滑、一致，并在不同地形与光照条件下均保持了良好的结构完整性。