[论文解读] Zero-Shot Digital Rock Image Segmentation with a Fine-Tuned Segment Anything Model

Zhaoyang Ma, Xupeng He+4 more|arXiv (Cornell University)|Nov 17, 2023

Reservoir Engineering and Simulation Methods被引用 7

一句话总结

本文提出 RockSAM，即 Meta AI 的 Segment Anything Model (SAM) 的微调版本，用于零样本数字岩心图像分割。通过针对岩心 CT 和 SEM 图像进行有针对性的微调，该方法在无需大量标注数据的情况下，实现了高精度的像素级分割，显著优于原始 SAM 在复杂、低对比度岩心图像上的表现。

ABSTRACT

Accurate image segmentation is crucial in reservoir modelling and material characterization, enhancing oil and gas extraction efficiency through detailed reservoir models. This precision offers insights into rock properties, advancing digital rock physics understanding. However, creating pixel-level annotations for complex CT and SEM rock images is challenging due to their size and low contrast, lengthening analysis time. This has spurred interest in advanced semi-supervised and unsupervised segmentation techniques in digital rock image analysis, promising more efficient, accurate, and less labour-intensive methods. Meta AI's Segment Anything Model (SAM) revolutionized image segmentation in 2023, offering interactive and automated segmentation with zero-shot capabilities, essential for digital rock physics with limited training data and complex image features. Despite its advanced features, SAM struggles with rock CT/SEM images due to their absence in its training set and the low-contrast nature of grayscale images. Our research fine-tunes SAM for rock CT/SEM image segmentation, optimizing parameters and handling large-scale images to improve accuracy. Experiments on rock CT and SEM images show that fine-tuning significantly enhances SAM's performance, enabling high-quality mask generation in digital rock image analysis. Our results demonstrate the feasibility and effectiveness of the fine-tuned SAM model (RockSAM) for rock images, offering segmentation without extensive training or complex labelling.

研究动机与目标

• 解决在储层建模中数字岩心图像分析所面临的劳动密集型像素级标注挑战。
• 克服原始 Segment Anything Model (SAM) 在分割低对比度、灰度 CT 和 SEM 岩石图像方面的局限性。
• 在极少或无需微调数据的情况下，实现在数字岩心物理中的零样本分割。
• 开发一种鲁棒且可迁移的分割框架，适用于多种岩性及成像模式。

提出的方法

• 在精选的岩心 CT 和 SEM 图像数据集上微调预训练的 Segment Anything Model (SAM)，以适应地质图像特征。
• 通过结合来自岩心形态的图像嵌入和稀疏提示，优化 SAM 的提示编码器和掩码解码器组件。
• 应用针对低对比度灰度岩心图像定制的数据增强和归一化技术，以提升泛化能力。
• 通过图像拼接与掩码合并处理大规模岩心图像，以保持空间一致性。
• 采用结合二元交叉熵损失与 Dice 损失的混合损失函数，以增强边界精度。
• 通过应用基于种子点或边界框的提示，利用 SAM 的零样本泛化能力，无需重新训练。

实验结果

研究问题

• RQ1 预训练的 Segment Anything Model 是否能通过有效微调，在数字岩心 CT 和 SEM 图像上实现高精度分割？
• RQ2 在岩心特定数据上微调 SAM 后，其分割精度相比原始模型提升了多少？
• RQ3 该微调模型在无额外标注的情况下，对不同岩性和成像条件的泛化能力如何？
• RQ4 该模型是否能在极少提示工程的情况下，对未见过的岩样实现可靠的零样本分割性能？

主要发现

• 微调后的 RockSAM 模型在 CT 和 SEM 岩石图像上的平均交并比（mIoU）得分显著高于原始 SAM。
• RockSAM 展现出强大的零样本泛化能力，在无需额外微调的情况下，可对未见过的岩性生成准确掩码。
• 通过掩码混合与重叠校正有效处理拼接伪影，该模型在大规模图像上保持了高性能。
• 微调显著降低了低对比度区域的分割误差，尤其在多孔和非均质岩心结构中表现更优。
• 该方法在性能上可与传统有监督模型媲美，但在推理阶段无需任何像素级标注。
• 使用稀疏提示（如点或框）即可实现高精度分割，仅需极少用户输入，证实了在数字岩心物理中实现交互式零样本分割的可行性。