[论文解读] Height estimation from single aerial images using a deep ordinal regression network

Xiang Li, Mingyang Wang+1 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Vision and Imaging参考文献 22被引用 7

一句话总结

本论文提出了一种用于单幅航空影像高程估计的深度序数回归网络，通过使用间隔增大的区间和序数损失，将连续高程回归问题转化为序数分类问题。通过集成空洞空间金字塔池化（ASPP）进行多尺度特征提取，并采用后处理技术生成无缝高程图，该方法在Vaihiken数据集上实现了1.698米的RMSE，在Potsdam数据集上实现了1.404米的RMSE，达到当前最优性能。

ABSTRACT

Understanding the 3D geometric structure of the Earth's surface has been an active research topic in photogrammetry and remote sensing community for decades, serving as an essential building block for various applications such as 3D digital city modeling, change detection, and city management. Previous researches have extensively studied the problem of height estimation from aerial images based on stereo or multi-view image matching. These methods require two or more images from different perspectives to reconstruct 3D coordinates with camera information provided. In this paper, we deal with the ambiguous and unsolved problem of height estimation from a single aerial image. Driven by the great success of deep learning, especially deep convolution neural networks (CNNs), some researches have proposed to estimate height information from a single aerial image by training a deep CNN model with large-scale annotated datasets. These methods treat height estimation as a regression problem and directly use an encoder-decoder network to regress the height values. In this paper, we proposed to divide height values into spacing-increasing intervals and transform the regression problem into an ordinal regression problem, using an ordinal loss for network training. To enable multi-scale feature extraction, we further incorporate an Atrous Spatial Pyramid Pooling (ASPP) module to extract features from multiple dilated convolution layers. After that, a post-processing technique is designed to transform the predicted height map of each patch into a seamless height map. Finally, we conduct extensive experiments on ISPRS Vaihingen and Potsdam datasets. Experimental results demonstrate significantly better performance of our method compared to the state-of-the-art methods.

研究动机与目标

• 解决从单幅航空影像进行高程估计的挑战，该问题此前主要依赖多视角立体视觉或多图像方法。
• 克服深度学习中直接回归的局限性，例如由于无界实值输出导致的收敛缓慢和次优解。
• 通过采用间隔增大的区间将回归任务重新表述为序数分类问题，以提高高程估计的准确性。
• 通过集成空洞空间金字塔池化（ASPP）提升多尺度特征学习，以获得更优的感受野覆盖。
• 开发一种后处理策略，将分块预测结果融合为无缝、高分辨率的数字地表模型（DSM）。

提出的方法

• 将连续高程值离散化为间隔增大的区间（SID），以将回归问题转化为序数分类任务。
• 使用序数损失函数训练全卷积编码器-解码器网络，比较预测与真实离散高程图。
• 集成空洞空间金字塔池化（ASPP）模块，通过不同膨胀率的空洞卷积提取多尺度特征。
• 由于GPU显存限制，采用分块训练策略，并结合后处理技术将单个分块预测结果拼接为无缝高程图。
• 端到端优化网络，采用自定义的序数回归损失，以考虑高程区间的有序特性。
• 利用预训练主干网络（如ResNet）进行特征提取，并在ISPRS Vaihingen和Potsdam数据集上微调整个网络。

实验结果

研究问题

• RQ1 通过采用间隔增大的区间将回归问题转化为序数分类，能否显著提升单幅航空影像的高程估计性能？
• RQ2 与标准均方误差（MSE）回归损失相比，使用序数损失函数是否能带来更优的优化效果和性能表现？
• RQ3 空洞空间金字塔池化（ASPP）模块在多尺度特征学习方面对航空高程估计的提升程度如何？
• RQ4 所提出的后处理技术在从分块预测生成无缝、高分辨率数字地表模型（DSM）方面的有效性如何？
• RQ5 所提出方法是否在Vaihingen和Potsdam等基准航空数据集上优于现有的最先进方法？

主要发现

• 所提方法在ISPRS Vaihingen数据集上达到1.698米的RMSE，在Potsdam数据集上达到1.404米的RMSE，显著优于现有最先进方法。
• 采用间隔增大的区间离散化（SID）后，相对损失从MSE基线的0.814降低至0.314，证明了其在优化和精度上的优越性。
• 序数回归损失优于多分类损失，实现相对损失降低0.105，δ3准确率指标提高0.481。
• ASPP模块使RMSE降低超过2.5米（从3.522米降至1.698米），证明其在多尺度特征学习中的关键作用。
• 消融实验表明，SID离散化和ASPP均为关键组件，仅使用SID即可使RMSE相比MSE回归降低1.519米。
• 当与预测的高程图结合时，该方法展现出强大的语义分割能力，表明其在下游遥感任务中的实用价值。