[论文解读] Material Segmentation of Multi-View Satellite Imagery

Matthew Purri, Jia Xue+6 more|arXiv (Cornell University)|Apr 17, 2019

Remote-Sensing Image Classification参考文献 49被引用 8

一句话总结

本文提出了一种反射率残差编码方法，利用多角度和多光谱卫星图像提升遥感中的材料分割性能。通过将稀疏反射率样本与学习得到的密集反射率函数字典之间的差异进行编码，该方法在UNet、FCN和1D逐像素网络中均显著提升了像素级和语义分割性能，仅使用多光谱数据时，平均IoU相比基线方法最高提升21.0%。

ABSTRACT

Material recognition methods use image context and local cues for pixel-wise classification. In many cases only a single image is available to make a material prediction. Image sequences, routinely acquired in applications such as mutliview stereo, can provide a sampling of the underlying reflectance functions that reveal pixel-level material attributes. We investigate multi-view material segmentation using two datasets generated for building material segmentation and scene material segmentation from the SpaceNet Challenge satellite image dataset. In this paper, we explore the impact of multi-angle reflectance information by introducing the extit{reflectance residual encoding}, which captures both the multi-angle and multispectral information present in our datasets. The residuals are computed by differencing the sparse-sampled reflectance function with a dictionary of pre-defined dense-sampled reflectance functions. Our proposed reflectance residual features improves material segmentation performance when integrated into pixel-wise and semantic segmentation architectures. At test time, predictions from individual segmentations are combined through softmax fusion and refined by building segment voting. We demonstrate robust and accurate pixelwise segmentation results using the proposed material segmentation pipeline.

研究动机与目标

• 开发一种高效的多视角卫星图像密集材料标注流水线。
• 通过利用单幅图像方法无法获取的多角度反射率信息，提升材料分割性能。
• 提出一种具有物理动机的编码方法——反射率残差，以捕捉角度和光谱反射率变化。
• 通过Softmax融合和建筑物掩码后处理提升分割性能。
• 利用SpaceNet卫星数据集，在多种大气和场景条件下验证方法的鲁棒性。

提出的方法

• 反射率残差编码计算多视角卫星图像中稀疏采样反射率函数与预定义的密集采样反射率函数字典之间的差异。
• 该方法将反射率残差作为额外输入特征，集成到1D逐像素和2D语义分割网络（UNet、FCN、EncNet）中。
• 通过Softmax融合对各视角的测试时预测结果进行融合，以提高置信度和一致性。
• 使用独立的建筑物区域掩码对预测结果进行优化，尤其针对屋顶材料，提升边界精度并减少误报。
• 该方法在两个数据集上进行评估：SpaceNet Challenge中的建筑物材料分割和全场景材料分割。
• 通过结合建筑物轮廓和预训练分割网络生成真实标签掩码，以确保密集且精确的标注。

实验结果

研究问题

• RQ1 多角度反射率信息是否能显著提升卫星图像中的材料分割性能？
• RQ2 与仅使用标准多光谱特征的方法相比，反射率残差编码在分割精度方面表现如何？
• RQ3 Softmax融合和建筑物掩码后处理在多大程度上提升了分割质量与鲁棒性？
• RQ4 该方法在大气条件差异较大的区域（如缺乏训练数据的奥马哈地区）是否具有泛化能力？
• RQ5 反射率残差编码是否能提升对金属、陶瓷和水等困难材料的分割性能？

主要发现

• 与仅使用多光谱数据相比，反射率残差编码使平均IoU最高提升21.0%，F1分数提升13.4%。
• 在场景材料分割数据集上，UNet架构结合反射率残差达到最高像素级准确率（85.6%）和平均IoU（71.2%）。
• 尽管缺乏空间上下文信息，1D逐像素网络结合反射率残差在平均F1分数（82.1%）和平均IoU（71.2%）上均优于其他所有方法，表明其性能强劲。
• 由于缺乏训练数据，该方法在奥马哈地区泛化能力较差，凸显了大气变化对性能的影响。
• 反射率残差显著提升了对陶瓷、金属和水等困难材料的分割效果，尤其在边界区域表现更优。
• 建筑物掩码后处理通过引入几何约束优化预测结果，有效减少误报并提升视觉质量，尤其在屋顶材料分割中效果显著。