[论文解读] Automated 3D recovery from very high resolution multi-view satellite images

Rongjun Qin|arXiv (Cornell University)|May 17, 2019

Satellite Image Processing and Photogrammetry被引用 25

一句话总结

本文提出了一种自动化流程，用于从超高分辨率多视角卫星影像生成高精度三维数字表面模型（DSM）。该方法通过自适应3D中值滤波融合多个立体匹配生成的深度图，利用光谱相似性并从LiDAR数据中学习最优影像配对配置，相较于标准方法，将RMSE精度提升了0.36米。

ABSTRACT

This paper presents an automated pipeline for processing multi-view satellite images to 3D digital surface models (DSM). The proposed pipeline performs automated geo-referencing and generates high-quality densely matched point clouds. In particular, a novel approach is developed that fuses multiple depth maps derived by stereo matching to generate high-quality 3D maps. By learning critical configurations of stereo pairs from sample LiDAR data, we rank the image pairs based on the proximity of the results to the sample data. Multiple depth maps derived from individual image pairs are fused with an adaptive 3D median filter that considers the image spectral similarities. We demonstrate that the proposed adaptive median filter generally delivers better results in general as compared to normal median filter, and achieved an accuracy of improvement of 0.36 meters RMSE in the best case. Results and analysis are introduced in detail.

研究动机与目标

• 自动化生成从超高分辨率多视角卫星影像中获取高质量三维数字表面模型（DSM）
• 解决在复杂城市与自然场景中实现无手动干预的高精度、高密度三维重建的挑战
• 通过引入光谱相似性并从参考LiDAR数据中学习最优立体像对配置，改进深度图融合
• 通过自适应滤波策略降低点云中的噪声与误差，该策略优于传统中值滤波

提出的方法

• 该流程对多视角卫星影像执行自动化地理配准，以实现空间对齐
• 对多组影像对应用立体匹配，生成独立的深度图
• 提出一种新型影像对排序策略，通过靠近采样LiDAR数据的位置来选择最优立体像对以生成深度图
• 使用基于光谱相似性的加权策略，通过自适应3D中值滤波融合多个深度图
• 自适应滤波器根据局部图像内容与光谱一致性动态调整滤波强度，从而在保留边缘的同时减少噪声
• 通过将融合后的深度图合并为密集且地理配准的3D点云，生成最终的DSM

实验结果

研究问题

• RQ1 是否能够通过自动化流程在无需人工干预的情况下，从超高分辨率多视角卫星影像中实现高精度三维重建？
• RQ2 在缺乏真实值的情况下，如何优化立体像对选择以提升深度图质量？
• RQ3 影像对之间的光谱相似性在多大程度上提升了深度图融合的性能？
• RQ4 自适应3D中值滤波是否能够在减少噪声的同时更好地保留几何细节，优于标准中值滤波？
• RQ5 当使用LiDAR引导的立体像对排序与自适应滤波时，RMSE的可测量改进程度是多少？

主要发现

• 所提出的自适应3D中值滤波器在最佳情况下相比标准中值滤波，将RMSE精度提升了0.36米
• 基于LiDAR引导的立体像对排序方法能有效选择生成更接近参考数据的深度图的影像对，从而提升整体融合质量
• 基于光谱相似性的加权策略融合深度图，显著提高了最终3D点云的精度与鲁棒性
• 自动化流程成功从多视角卫星影像中生成了密集且地理配准的DSM，且人工干预极少
• 该方法在多种城市与自然地形类型中均表现出一致的性能提升，验证了其通用性