[论文解读] Generating 3D structures from a 2D slice with GAN-based dimensionality expansion

Steve Kench, Samuel J. Cooper|arXiv (Cornell University)|Feb 10, 2021

Image Processing and 3D Reconstruction参考文献 21被引用 9

一句话总结

该论文提出SliceGAN，一种基于生成对抗网络（GAN）的架构，通过在生成器中强制实现均匀的信息密度，仅从一张2D显微照片生成高保真度的3D微观结构。该方法在统计上与真实3D数据集的相似性达到当前最先进水平——尤其在有效扩散率等涌现性质方面表现优异，同时可在数秒内生成10⁸个体素的3D体积，从而实现高通量的微观结构优化。

ABSTRACT

Generative adversarial networks (GANs) can be trained to generate 3D image data, which is useful for design optimisation. However, this conventionally requires 3D training data, which is challenging to obtain. 2D imaging techniques tend to be faster, higher resolution, better at phase identification and more widely available. Here, we introduce a generative adversarial network architecture, SliceGAN, which is able to synthesise high fidelity 3D datasets using a single representative 2D image. This is especially relevant for the task of material microstructure generation, as a cross-sectional micrograph can contain sufficient information to statistically reconstruct 3D samples. Our architecture implements the concept of uniform information density, which both ensures that generated volumes are equally high quality at all points in space, and that arbitrarily large volumes can be generated. SliceGAN has been successfully trained on a diverse set of materials, demonstrating the widespread applicability of this tool. The quality of generated micrographs is shown through a statistical comparison of synthetic and real datasets of a battery electrode in terms of key microstructural metrics. Finally, we find that the generation time for a $10^8$ voxel volume is on the order of a few seconds, yielding a path for future studies into high-throughput microstructural optimisation.

研究动机与目标

• 为解决从有限的2D显微照片生成3D微观结构的挑战，因为2D数据比3D数据更易获取且分辨率更高。
• 通过设计一种新型GAN架构，克服3D生成器与2D训练数据之间的不兼容性。
• 确保在生成的3D体积中所有空间区域的图像质量保持一致，避免边缘区域的质量退化。
• 通过大幅缩短大尺寸3D体积的生成时间，实现高通量的微观结构优化。
• 通过与真实材料（如电池正极材料）的统计比较，验证该方法的有效性，包括关键微观结构指标。

提出的方法

• SliceGAN采用条件生成对抗网络（conditional GAN）框架，其中生成器在单张2D显微照片输入的条件下合成3D体积。
• 生成器采用转置卷积层，并通过严格约束参数以维持均匀的信息密度，防止边缘伪影。
• 判别器网络用于评估生成的3D体积的真实性，区分其与真实3D微观结构。
• 该架构支持各向同性和各向异性微观结构的生成，且可通过简单扩展处理各向异性情况。
• 训练使用来自3D数据集的2D切片，使模型能够从最少的输入中学习体积统计特性。
• 该方法利用有界随机游走算法生成界面结构，并在合成数据上验证性能。

实验结果

研究问题

• RQ1 基于GAN的模型能否在保持整个体积内质量一致的前提下，从单张2D显微照片生成高保真度的3D微观结构？
• RQ2 如何缓解GAN生成器中非均匀的信息密度，以防止空间边界处的质量退化？
• RQ3 2D到3D的GAN模型在多大程度上能准确再现关键的涌现微观结构特性（如有效扩散率）？
• RQ4 该模型能否在多种材料类型（包括晶体、聚合物及电池正极微观结构）上实现泛化？
• RQ5 SliceGAN的生成速度与传统3D数据生成方法相比如何？是否能够支持高通量模拟研究？

主要发现

• SliceGAN成功生成了在视觉上与真实训练数据无法区分的3D微观结构切片，涵盖多种材料类型，包括合成材料、聚合物及电池正极微观结构。
• 该模型在统计上与真实数据集一致地再现了关键微观结构指标，如两点相关函数和三相边界密度。
• 有效扩散率——一种无法从2D切片直接测量的3D涌现性质——被高度准确地再现，证明了模型捕捉体积行为的能力。
• 生成一个10⁸个体素的3D体积仅需数秒，从而实现了对微观结构设计空间的高通量探索。
• 由于均匀信息密度约束，模型在所有空间区域均保持一致的图像质量，消除了标准GAN中常见的边缘伪影。
• 该方法在公开获取的3D断层扫描数据（如NMC正极材料）上得到验证，显示合成体积与真实体积在多个指标上具有强统计相似性。