[论文解读] MudrockNet: Semantic Segmentation of Mudrock SEM Images through Deep Learning

Abhishek Bihani, Hugh Daigle+4 more|arXiv (Cornell University)|Feb 5, 2021

Electron and X-Ray Spectroscopy Techniques参考文献 70被引用 55

一句话总结

MudrockNet 是一种基于 TensorFlow 的深度学习语义分割模型，采用 Google 的 DeepLab-v3+ 架构，可自动识别页岩扫描电子显微镜（SEM）图像中的粉砂颗粒和孔隙。该模型在日本熊野盆地页岩的真值数据上进行训练，对粉砂颗粒的平均交并比（IoU）达到 0.6591，对孔隙的 IoU 达到 0.6642，其准确性和速度均优于传统的 Weka 随机森林方法。

ABSTRACT

Segmentation and analysis of individual pores and grains of mudrocks from scanning electron microscope images is non-trivial because of noise, imaging artifacts, variation in pixel grayscale values across images, and overlaps in grayscale values among different physical features such as silt grains, clay grains, and pores in an image, which make their identification difficult. Moreover, because grains and pores often have overlapping grayscale values, direct application of threshold-based segmentation techniques is not sufficient. Recent advances in the field of computer vision have made it easier and faster to segment images and identify multiple occurrences of such features in an image, provided that ground-truth data for training the algorithm is available. Here, we propose a deep learning SEM image segmentation model, MudrockNet based on Google's DeepLab-v3+ architecture implemented with the TensorFlow library. The ground-truth data was obtained from an image-processing workflow applied to scanning electron microscope images of uncemented muds from the Kumano Basin offshore Japan at depths < 1.1 km. The trained deep learning model obtained a pixel-accuracy about 90%, and predictions for the test data obtained a mean intersection over union (IoU) of 0.6591 for silt grains and 0.6642 for pores. We also compared our model with the random forest classifier using trainable Weka segmentation in ImageJ, and it was observed that MudrockNet gave better predictions for both silt grains and pores. The size, concentration, and spatial arrangement of the silt and clay grains can affect the petrophysical properties of a mudrock, and an automated method to accurately identify the different grains and pores in mudrocks can help improve reservoir and seal characterization for petroleum exploration and anthropogenic waste sequestration.

研究动机与目标

• 开发一种自动化的、基于深度学习的语义分割方法，用于页岩 SEM 图像中的孔隙和粉砂颗粒分割，减少对人工干预的依赖。
• 克服传统分割方法面临的挑战，如噪声、特征间灰度重叠（例如，黏土与粉砂和孔隙之间）、图像间像素强度不一致等问题。
• 通过实现高通量、可重复且可扩展的微观结构特征分割，提升数字岩石物理分析的准确性与效率。
• 证明深度学习模型在复杂灰度页岩 SEM 图像中可超越传统阈值分割和基于随机森林的分割方法。
• 提供公开可获取的训练模型和代码库，以支持页岩图像分析领域的可复现性与未来发展。

提出的方法

• 该模型基于 DeepLab-v3+ 架构，这是一种先进的语义分割框架，采用空洞空间金字塔池化（ASPP）和编码器-解码器结构，用于密集预测。
• 网络使用来自日本熊野盆地未胶结页岩的 100 幅 SEM 图像数据集进行训练，真值标签通过传统图像处理工作流生成。
• 训练使用 TensorFlow 库完成，通过数据增强技术提升泛化能力，以应对训练样本有限的问题。
• 模型采用像素级交叉熵损失和 Adam 优化器，从原始灰度 SEM 图像中端到端学习特征表示。
• 推理性能通过平均交并比（IoU）和像素准确率进行评估，并与 ImageJ 中基于 Weka 的随机森林分类器进行对比。
• 后处理步骤通过连通域标记法实现实例级分割，以识别单个颗粒和孔隙。

实验结果

研究问题

• RQ1 深度学习模型是否能在区分灰度页岩 SEM 图像中粉砂颗粒和孔隙方面，实现比传统阈值分割更高的准确性？
• RQ2 与传统机器学习分类器（如随机森林）相比，MudrockNet 在 IoU 和推理速度方面的表现如何？
• RQ3 深度学习模型在灰度强度变化和显微图像伪影方面，对细粒度岩石 SEM 图像的泛化能力如何？
• RQ4 该模型是否能以高保真度分割超过训练图像尺寸的大尺寸 SEM 图像（如 2048×1767 像素）？
• RQ5 有限的训练数据和灰度值重叠对模型泛化能力和预测可靠性有何影响？

主要发现

• 在测试数据上，MudrockNet 对粉砂颗粒的平均 IoU 为 0.6591，对孔隙的 IoU 为 0.6642，表明其在复杂灰度图像中对这些特征的区分能力较强。
• 该模型在粉砂颗粒和孔隙分割方面均优于 Weka 随机森林分类器，IoU 值更高，且推理时间显著缩短。
• MudrockNet 的预测时间仅为每张图像 0.218 秒，而传统分割算法为 7.767 秒，实现了 35 倍的加速。
• 在一张大尺寸测试图像（15,000× 放大倍数，2048×1767 像素）上，MudrockNet 对粉砂颗粒的 IoU 达到 0.739，对孔隙的 IoU 为 0.682，表明其对大图像尺寸具有鲁棒性。
• 尽管准确率较高，但该模型在检测极小粉砂颗粒方面仍存在局限，原因包括训练数据有限以及与黏土的灰度重叠，提示需通过数据增强或基于尺寸的过滤进行改进。
• 真值数据本身因包含人工过滤步骤而存在不确定性，这可能是专家标注与模型预测分割结果之间存在差异的原因之一。