[论文解读] Collaboratively boosting data-driven deep learning and knowledge-guided ontological reasoning for semantic segmentation of remote sensing imagery

Yansheng Li, Song Ouyang+1 more|arXiv (Cornell University)|Oct 6, 2020

Remote-Sensing Image Classification参考文献 35被引用 4

一句话总结

本文提出了一种协作增强框架（CBF），将数据驱动的深度学习与基于知识的本体论推理相结合，用于遥感图像语义分割。通过深度学习网络与基于本体的推理模块之间迭代地相互反馈，框架在复杂场景中显著提升了分割精度，优于独立的深度学习或基于知识的方法。

ABSTRACT

As one kind of architecture from the deep learning family, deep semantic segmentation network (DSSN) achieves a certain degree of success on the semantic segmentation task and obviously outperforms the traditional methods based on hand-crafted features. As a classic data-driven technique, DSSN can be trained by an end-to-end mechanism and competent for employing the low-level and mid-level cues (i.e., the discriminative image structure) to understand images, but lacks the high-level inference ability. By contrast, human beings have an excellent inference capacity and can be able to reliably interpret the RS imagery only when human beings master the basic RS domain knowledge. In literature, ontological modeling and reasoning is an ideal way to imitate and employ the domain knowledge of human beings, but is still rarely explored and adopted in the RS domain. To remedy the aforementioned critical limitation of DSSN, this paper proposes a collaboratively boosting framework (CBF) to combine data-driven deep learning module and knowledge-guided ontological reasoning module in an iterative way.

研究动机与目标

• 解决数据驱动深度学习模型在遥感图像语义分割中缺乏高层推理的问题。
• 利用本体中的领域特定知识，提升语义分割的可解释性与鲁棒性。
• 克服纯数据驱动方法在复杂或罕见场景下泛化能力不足的局限。
• 开发一种协作框架，通过结合低层特征与高层语义推理，迭代改进预测结果。
• 证明将知识引导的推理与深度学习结合，可在遥感图像上实现更优的分割性能。

提出的方法

• 提出一种协作增强框架（CBF），通过深度语义分割网络（DSSN）与基于本体的推理模块交替迭代地优化预测结果。
• 采用基于U-Net的DSSN，提取低层与中层特征以实现初始分割。
• 利用本体模型编码遥感对象的领域知识（例如空间、光谱与上下文关系）。
• 在本体中应用逻辑推理与约束传播，基于语义一致性来优化分割结果。
• 实现一个迭代反馈循环，其中DSSN的预测结果为本体提供输入，而本体引导的推理则修正DSSN的输出。
• 采用损失函数，结合用于DSSN训练的交叉熵损失与用于本体优化的逻辑一致性损失。

实验结果

研究问题

• RQ1 将知识引导的本体论推理集成到数据驱动的深度学习模型中，能否提升其在遥感图像分割中的性能？
• RQ2 深度学习与本体论推理之间的迭代协作，如何增强分割精度与鲁棒性？
• RQ3 本体论推理在多大程度上可弥补纯数据驱动模型在高层推理能力上的缺失？
• RQ4 领域特定知识在降低复杂或模糊遥感场景中的误分类率方面有何影响？
• RQ5 所提出的CBF框架相较于独立的深度学习或基于知识的方法，表现如何？

主要发现

• CBF框架在基准遥感图像数据集上显著优于当前最先进的深度学习模型。
• 本体论推理的集成显著降低了误分类率，尤其在罕见或模糊的对象类别上表现更优。
• 迭代反馈机制提升了预测结果的一致性与空间合理性。
• 该框架在低数据量场景以及复杂城市或异质环境中表现出更优的泛化能力。
• 定量结果表明，与基线DSSN模型相比，平均交并比（mIoU）提升了5-8%。
• 消融实验表明，深度学习与本体论推理两个组件对实现最优性能均不可或缺。