[论文解读] IM2HEIGHT: Height Estimation from Single Monocular Imagery via Fully Residual Convolutional-Deconvolutional Network

Lichao Mou, Xiao Xiang Zhu|arXiv (Cornell University)|Feb 28, 2018

Remote Sensing and LiDAR Applications参考文献 33被引用 101

一句话总结

论文提出一种完全残差的卷积-解卷积网络，用以从单幅单目遥感图像预测高程图，以DSM作为地面真实值，采用跳跃连接以保留边缘；在柏林数据上评估，相较基线有定量改进，并应用于建筑实例分割。

ABSTRACT

In this paper we tackle a very novel problem, namely height estimation from a single monocular remote sensing image, which is inherently ambiguous, and a technically ill-posed problem, with a large source of uncertainty coming from the overall scale. We propose a fully convolutional-deconvolutional network architecture being trained end-to-end, encompassing residual learning, to model the ambiguous mapping between monocular remote sensing images and height maps. Specifically, it is composed of two parts, i.e., convolutional sub-network and deconvolutional sub-network. The former corresponds to feature extractor that transforms the input remote sensing image to high-level multidimensional feature representation, whereas the latter plays the role of a height generator that produces height map from the feature extracted from the convolutional sub-network. Moreover, to preserve fine edge details of estimated height maps, we introduce a skip connection to the network, which is able to shuttle low-level visual information, e.g., object boundaries and edges, directly across the network. To demonstrate the usefulness of single-view height prediction, we show a practical example of instance segmentation of buildings using estimated height map. This paper, for the first time in the remote sensing community, attempts to estimate height from monocular vision. The proposed network is validated using a large-scale high resolution aerial image data set covered an area of Berlin. Both visual and quantitative analysis of the experimental results demonstrate the effectiveness of our approach.

研究动机与目标

• 从单幅单目遥感图像进行高度估计这一本质上是病态的问题入手。
• 开发一个端到端的完全残差卷积-解卷积网络，将RGB图像映射到高程图，使用DSM作为地面真实值。
• 通过跳跃连接在高程图中保留边缘细节，并评估实际用途（如建筑物实例分割）。

提出的方法

• 两部分架构：一个用于特征提取的卷积子网，以及一个作为高程生成器的解卷积子网。
• 采用残差块以实现残差学习并简化优化。
• 在第一块与倒数第二块之间引入跳跃连接，以在网络中穿梭低层边缘信息。
• 在解卷路径中使用最大池化索引的反池化，以更好地保持空间细节。
• 端到端训练，使用RGB输入的MAE损失来预测高分辨率高程图；采用数据增强且批量大小非常小。
• 与 Eigen-Net 和普通的卷积-解卷积基线进行比较，以评估边缘保留与高程图质量。

实验结果

研究问题

• RQ1 是否可以用一个单目遥感图像通过端到端的深度网络映射到物理上合理的高程图？
• RQ2 在带有残差学习的卷积-解卷积架构中，是否相较于非残差或普通架构能提升高程图的精度及边缘保留？
• RQ3 与现有的单图像高度估计方法（如 Eigen-Net）相比，在高分辨率的柏林数据集上，该方法的表现如何？
• RQ4 预测的高程图是否对下游任务（如建筑物的实例分割）有用？

主要发现

• 在柏林测试场景中，带跳跃连接的残差卷积-卷积网络实现了 MSE 7.8e-04、MAE 0.017、SSIM 0.9366，优于基线。
• 普通的卷积-解卷积网络表现较差，无法学习到真实感的高程图，而带跳跃连接的残差网络在边缘保留方面有显著改进。
• 与 Eigen-Net（产生模糊、分辨率较低的预测）相比，所提出的方法在不需要后处理的情况下，提供更高质量、边缘保留的高程图。
• 定性结果显示在不同土地利用场景中，高程图的物体边界更清晰、结构细节更好。
• 一个应用演示表明可以通过阈值化和植被过滤，仅凭预测的高程图实现建筑物的分割，无需像素级监督。
• 对高层建筑的某些失败案例仍然存在，表明高层高度估计仍具挑战性。