[论文解读] A Local-Global Approach to Semantic Segmentation in Aerial Images

Alina Marcu|arXiv (Cornell University)|Jul 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 3被引用 4

一句话总结

本文提出一种双流深度卷积神经网络，通过结合局部与全局视觉上下文，实现航空影像的语义分割，其中窄深流用于提取局部特征，浅宽流用于捕捉场景上下文。该模型在马萨诸塞州建筑数据集上达到最先进性能，F-measure从92.3%提升至94.2%，通过有效利用互补的局部与全局推理实现。

ABSTRACT

Aerial images are often taken under poor lighting conditions and contain low resolution objects, many times occluded by other objects. In this domain, visual context could be of great help, but there are still very few papers that consider context in aerial image understanding and still remains an open problem in computer vision. We propose a dual-stream deep neural network that processes information along two independent pathways. Our model learns to combine local and global appearance in a complementary way, such that together form a powerful classifier. We test our dual-stream network on the task of buildings segmentation in aerial images and obtain state-of-the-art results on the Massachusetts Buildings Dataset. We study the relative importance of local appearance versus the larger scene, as well as their performance in combination on three new buildings datasets. We clearly demonstrate the effectiveness of visual context in conjunction with deep neural networks for aerial image understanding.

研究动机与目标

• 解决航空影像语义分割中的挑战，其中物体常被遮挡、分辨率低或光照条件差。
• 探究视觉上下文——尤其是全局场景理解——在航空影像识别中的作用。
• 开发一种深度学习模型，协同结合局部与全局特征以提升分割性能。
• 在真实世界航空数据集上，验证双流架构中局部与全局互补性的有效性。
• 将分割任务从建筑物扩展至其他类别，如道路、森林、草地和水域。

提出的方法

• 设计双流CNN：一条流采用深度、窄小的架构与小卷积核，以捕捉细粒度的局部特征；另一条流采用浅层、宽大的架构与大卷积核，以捕捉全局上下文。
• 在航空影像的图像块上独立训练两条流，随后在最后几层融合其特征以实现联合分类。
• 使用三元组阈值算法优化两条流预测结果的融合。
• 在自定义的建筑物、道路及其他类别的数据集上端到端训练模型，采用像素级交叉熵损失函数。
• 通过扩展输出层以预测多个目标类别，将模型应用于多类别语义分割。
• 采用数据增强与基于图像块的训练策略，提升模型在多样化航空场景下的泛化能力。

实验结果

研究问题

• RQ1 结合局部与全局视觉上下文如何提升航空影像语义分割的准确性？
• RQ2 在识别建筑物和道路等物体时，局部外观与全局场景上下文的相对贡献分别是什么？
• RQ3 采用局部与全局路径具有不同架构的双流CNN架构，是否能优于单流模型？
• RQ4 该模型在图像质量、物体密度与遮挡程度各异的多样化航空数据集上的表现如何？
• RQ5 局部-全局互补性在其他语义类别（如森林、水域和草地）上可泛化到何种程度？

主要发现

• 所提出的双流模型在马萨诸塞州建筑数据集上实现了94.2%的最先进F-measure，显著优于先前最佳的92.3%。
• 实验表明，全局上下文显著提升了对小型、被遮挡或对比度低的建筑物的检测能力，尤其在高密度城市区域表现突出。
• 在罗马尼亚道路数据集上，模型取得了高F-measure分数，证实其在光照差与低分辨率条件下仍具鲁棒性。
• 消融实验表明，结合局部与全局特征的性能优于单一流模型，验证了两条路径之间的互补性。
• 模型成功扩展至多类别分割任务，在森林、水域和草地等类别上均取得优异结果，表明其具有广泛适用性。
• 作者引入了两个新数据集——罗马尼亚道路数据集与萨图马雷房屋计数数据集，为航空影像理解研究提供了进一步的基准支持。