[论文解读] Multi-plane denoising diffusion-based dimensionality expansion for 2D-to-3D reconstruction of microstructures with harmonized sampling

Kang‐Hyun Lee, Gun Jin Yun|arXiv (Cornell University)|Aug 27, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

本文提出 Micro3Diff，一种基于扩散模型的新型生成框架，用于从 2D 微观结构重建 3D 微观结构。该方法利用预训练的 2D 去噪扩散模型（DGMs），并引入多平面去噪扩散与协调采样机制，以在维度扩展过程中保持 3D 空间连通性与形态保真度。该方法可仅从单张 2D 微观结构图像成功生成多样化、连通的 3D 微观结构，其形态与真实数据高度一致。

ABSTRACT

Acquiring reliable microstructure datasets is a pivotal step toward the systematic design of materials with the aid of integrated computational materials engineering (ICME) approaches. However, obtaining three-dimensional (3D) microstructure datasets is often challenging due to high experimental costs or technical limitations, while acquiring two-dimensional (2D) micrographs is comparatively easier. To deal with this issue, this study proposes a novel framework for 2D-to-3D reconstruction of microstructures called Micro3Diff using diffusion-based generative models (DGMs). Specifically, this approach solely requires pre-trained DGMs for the generation of 2D samples, and dimensionality expansion (2D-to-3D) takes place only during the generation process (i.e., reverse diffusion process). The proposed framework incorporates a new concept referred to as multi-plane denoising diffusion, which transforms noisy samples (i.e., latent variables) from different planes into the data structure while maintaining spatial connectivity in 3D space. Furthermore, a harmonized sampling process is developed to address possible deviations from the reverse Markov chain of DGMs during the dimensionality expansion. Combined, we demonstrate the feasibility of Micro3Diff in reconstructing 3D samples with connected slices that maintain morphologically equivalence to the original 2D images. To validate the performance of Micro3Diff, various types of microstructures (synthetic and experimentally observed) are reconstructed, and the quality of the generated samples is assessed both qualitatively and quantitatively. The successful reconstruction outcomes inspire the potential utilization of Micro3Diff in upcoming ICME applications while achieving a breakthrough in comprehending and manipulating the latent space of DGMs.

研究动机与目标

• 解决由于高成本实验和微 CT 成像技术限制导致的 3D 微观结构数据集有限的问题。
• 利用预训练的生成模型，实现从单张 2D 微观结构图像进行数据高效 3D 微观结构重建。
• 开发一种在维度扩展过程中保持 3D 形态等价性与空间连通性的方法。
• 探索在扩散模型中操控潜在变量以实现材料科学中跨维度生成建模的潜力。

提出的方法

• 将预训练的 2D 去噪扩散模型（DGMs）作为 3D 生成的先验，避免进行 3D 特定的训练。
• 提出多平面去噪扩散机制，通过在多个 2D 平面中同时去噪潜在变量，以重建 3D 体积并保持空间连通性。
• 应用协调采样过程，校正反向马尔可夫链轨迹中的偏差，确保与 2D DGM 学习到的分布保持一致。
• 采用 U-Net 架构，使用 1000 步去噪过程与线性调度，训练于 64×64 尺寸的微观结构图像。
• 仅在反向扩散过程中执行维度扩展，将来自不同平面的潜在噪声作为输入。
• 在合成与真实微观结构上验证该框架，包括 NMC 正极材料与碳酸盐材料，采用定性与定量指标进行评估。

实验结果

研究问题

• RQ1 未经微调或使用 3D 数据的情况下，能否有效利用预训练的 2D DGM 进行 3D 微观结构生成？
• RQ2 在扩散模型中，如何在 2D 到 3D 的维度扩展过程中保持空间连通性与形态保真度？
• RQ3 协调采样过程在 3D 生成过程中对反向扩散过程轨迹偏差的校正程度如何？
• RQ4 生成的 3D 微观结构在形态与统计特性上与真实 3D 数据相比如何？
• RQ5 Micro3Diff 能否从单张 2D 输入图像生成多样化且逼真的 3D 微观结构？

主要发现

• Micro3Diff 能够成功重建 3D 微观结构，其切片保持连通性，并在多种微观结构类型中维持与原始 2D 图像的高度形态等价性。
• 在碳酸盐数据集中，S2 的最大误差率为 9.21%，LP 的最大误差率为 6.31%，表明尽管训练数据多样性有限，仍具备强大的形态保真度。
• 生成的 3D 样本在视觉质量与空间相关性方面与真实 3D 微观结构相当，证明了模型能够从单张 2D 输入发现合理的 3D 配置。
• 该框架可从单张 2D 微观结构图像生成多个多样化 3D 体积，支持材料行为的统计评估。
• 协调采样过程有效缓解了反向马尔可夫链的轨迹偏差，提升了生成的一致性。
• 该方法在 ICME 应用中展现出可行性，并为材料科学中扩散模型潜在空间操作开辟了新途径。