[论文解读] Deep Tiered Image Segmentation For Detecting Internal Ice Layers in Radar Imagery

Yuchen Wang, Mingze Xu+4 more|arXiv (Cornell University)|Oct 8, 2020

Cryospheric studies and observations被引用 7

一句话总结

该论文提出了一种两阶段深度学习框架，用于分层图像分割，以检测探地雷达剖面图中的内部冰层。首先使用卷积神经网络（CNN）估计层数、最上层位置和平均厚度，随后通过循环神经网络（RNN）进行精细化边界定位。该方法在层数估计中达到85.2%的准确率，并在平均绝对误差（6.96像素）和分层平均精度（layer-AP，0.882）方面显著优于基线模型。

ABSTRACT

Understanding the structure of Earth's polar ice sheets is important for modeling how global warming will impact polar ice and, in turn, the Earth's climate. Ground-penetrating radar is able to collect observations of the internal structure of snow and ice, but the process of manually labeling these observations is slow and laborious. Recent work has developed automatic techniques for finding the boundaries between the ice and the bedrock, but finding internal layers - the subtle boundaries that indicate where one year's ice accumulation ended and the next began - is much more challenging because the number of layers varies and the boundaries often merge and split. In this paper, we propose a novel deep neural network for solving a general class of tiered segmentation problems. We then apply it to detecting internal layers in polar ice, evaluating on a large-scale dataset of polar ice radar data with human-labeled annotations as ground truth.

研究动机与目标

• 解决在嘈杂雷达剖面图中自动检测内部冰层的挑战，这些图像对气候建模至关重要，但人工标注困难。
• 克服现有方法仅关注显著边界（如冰-空气、冰-床）而难以处理形态多变、细微的内部层的局限性。
• 开发一种可泛化的深度学习方法，用于分层分割，其中层数未知且在空间上变化。
• 实现在无需事先提供层数的先验知识下，端到端准确预测层数、位置和边界。
• 提升在复杂、嘈杂雷达图像中多层检测的性能，而传统计算机视觉技术在此类场景下表现不佳。

提出的方法

• 使用带有三个并行分支的2D卷积神经网络（CNN），用于预测：(1) 最上层的位置，(2) 层间平均厚度，(3) 可见层数总量。
• 通过利用估计的平均厚度，将最上层向下传播，生成初始分层分割掩码。
• 使用循环神经网络（RNN）对每一列独立处理，基于分层特异性模式调整边界位置，以优化初始分割结果。
• 在大规模、公开可用的极地冰雷达数据集上进行端到端训练，数据集包含人工标注的边界真实值。
• 采用一种损失函数，通过在较短预测中填充零向量来惩罚层数估计错误，确保在层数未知的情况下仍能实现准确估计。
• 使用平均绝对误差（逐像素列差）和分层平均精度（layer-AP）进行模型评估，并与多种基线模型（包括仅CNN和仅RNN模型）进行比较。

实验结果

研究问题

• RQ1 当层数未知且在空间上变化时，深度学习模型能否有效估计雷达剖面图中的内部冰层数？
• RQ2 两阶段方法——先估计全局层属性（层数、厚度、最上层位置），再精细化边界——是否相比端到端或单阶段方法能提升分割精度？
• RQ3 引入RNN进行列级边界精细化，对细微、多变的内部层边界性能有何影响？
• RQ4 与仅关注两个显著边界的现有方法相比，该模型在层合并与分裂频繁出现的多层区域中，泛化能力如何？
• RQ5 该模型能否在不依赖先验层数信息的情况下实现高性能？与假设已知层数的基线模型相比表现如何？

主要发现

• 所提出的CNN3B+RNN模型平均绝对误差为6.96像素，显著优于所有基线模型，包括使用先验层数信息的模型。
• 该模型在估计内部冰层数量方面达到85.2%的准确率，即使在未预先提供层数的情况下也能实现高性能。
• 当层数由模型估计时，完整模型（CNN3B+RNN）的layer-AP得分为0.882，而使用先验信息时为0.853，表明其对不确定性具有强鲁棒性。
• RNN精细化步骤显著提升了性能，CNN3B+RNN模型优于CNN3B和独立RNN基线模型，尽管RNN30和RNN256单独使用时表现较差。
• 定性结果表明，模型输出与人工标注高度一致，边界定位误差极小，尤其在层数正确估计时表现更优。
• 该方法在极地冰层之外也具有良好泛化能力，为具有可变、细微或合并层结构的其他领域提供了可扩展的分层分割解决方案。