[论文解读] 3D microstructural generation from 2D images of cement paste using generative adversarial networks

Xin Zhao, Lin Wang+10 more|arXiv (Cornell University)|Apr 4, 2022

3D Surveying and Cultural Heritage被引用 4

一句话总结

本文提出一种基于深度学习的方法，利用单一2D背散射电子（BSE）图像，通过实体纹理合成（STS）生成高质量的硬化水泥浆体3D微观结构。该方法结合基于马尔可夫随机场（MRF）的模型与基于卷积神经网络（CNN）的生成对抗网络（GAN）模型，定量结果表明，其在孔隙率、颗粒尺寸分布及灰度共生矩阵（GLCM）度量方面与真实的3D显微CT数据高度相似。

ABSTRACT

Establishing a realistic three-dimensional (3D) microstructure is a crucial step for studying microstructure development of hardened cement pastes. However, acquiring 3D microstructural images for cement often involves high costs and quality compromises. This paper proposes a generative adversarial networks-based method for generating 3D microstructures from a single two-dimensional (2D) image, capable of producing high-quality and realistic 3D images at low cost. In the method, a framework (CEM3DMG) is designed to synthesize 3D images by learning microstructural information from a 2D cross-sectional image. Experimental results show that CEM3DMG can generate realistic 3D images of large size. Visual observation confirms that the generated 3D images exhibit similar microstructural features to the 2D images, including similar pore distribution and particle morphology. Furthermore, quantitative analysis reveals that reconstructed 3D microstructures closely match the real 2D microstructure in terms of gray level histogram, phase proportions, and pore size distribution. The source code for CEM3DMG is available in the GitHub repository at: https://github.com/NBICLAB/CEM3DMG.

研究动机与目标

• 解决硬化水泥浆体高成本、高质量3D微观结构成像的缺乏问题。
• 克服现有3D成像技术（如Micro-CT和FIB-SEM）成本高、耗时长或视场受限的局限性。
• 开发一种从单张高质量2D BSE图像合成逼真3D微观结构的方法，无需进行相态分割。
• 利用基于深度学习的实体纹理合成技术，保留微观结构特征，如孔隙率、颗粒尺寸和纹理模式。
• 为材料科学研究与模拟提供可扩展且高效的3D微观结构生成能力。

提出的方法

• 使用扫描电子显微镜（SEM）获取硬化水泥浆体的高分辨率2D背散射电子（BSE）图像。
• 应用实体纹理合成（STS）技术，将2D微观结构信息扩展至3D空间，保留空间与纹理特征。
• 实施两种不同模型：基于马尔可夫随机场（MRF）的模型用于邻域优化，以及基于卷积神经网络（CNN）的生成对抗网络（GAN）模型用于深度特征学习。
• 使用VGG-19网络提取统计特征，通过对抗训练实现逼真的纹理生成。
• 整合位置与索引直方图以引导合成过程，确保3D空间中空间与强度对应关系的准确性。
• 在单张2D样本上训练基于GAN的模型，以生成任意尺寸的3D体数据，而MRF模型则在无需预训练的情况下执行迭代优化。

实验结果

研究问题

• RQ1 能否利用2D BSE图像合成出在物理与纹理特征上与真实水泥浆体一致的3D微观结构？
• RQ2 在3D水泥微观结构生成中，基于MRF与基于CNN的STS模型在保真度与效率方面如何比较？
• RQ3 合成的3D微观结构在关键度量（如孔隙率、颗粒尺寸分布和GLCM特征）方面与真实3D显微CT数据的匹配程度如何？
• RQ4 基于MRF与基于CNN的模型在生成质量与计算时间之间存在何种权衡？
• RQ5 基于深度学习的STS方法能否在无需相态分割的情况下，克服传统方法在捕捉复杂微观结构特征方面的局限性？

主要发现

• 两种模型生成的3D微观结构在视觉上与真实的3D显微CT数据高度相似，证实了基于STS方法的有效性。
• 基于MRF的模型在同质性度量上表现更优（平均6.48 vs. 5.33），表明其在结构一致性保持方面更佳。
• 基于CNN的模型推理速度显著更快——256×256×256体数据仅需0.15小时（9分钟），而基于MRF的模型需1.13小时。
• 基于MRF的模型无需训练时间，而基于CNN的模型每张样本需3.3小时训练时间，因此在单次使用场景下效率较低。
• 两种模型生成的3D微观结构在孔隙率与颗粒尺寸分布方面均与真实显微CT数据高度匹配，验证了其物理准确性。
• 合成3D体数据的GLCM对比度与同质性度量与真实3D显微CT扫描结果在统计上接近，证实了纹理保真度。