[论文解读] A General Framework Combining Generative Adversarial Networks and Mixture Density Networks for Inverse Modeling in Microstructural Materials Design

Zijiang Yang, Dipendra Jha+4 more|arXiv (Cornell University)|Jan 26, 2021

Machine Learning in Materials Science参考文献 11被引用 5

一句话总结

本文提出了一种新颖的深度学习框架，结合生成对抗网络（GANs）与混合密度网络（MDNs），以解决逆向微观结构材料设计问题。通过利用 GAN 学习低维潜在空间，并利用 MDN 建模从目标性能到潜在码的一对多映射，该框架可在数秒内高效生成多样且高质量的微观结构，使其光学吸收性能匹配目标值，其在准确性、多样性与速度方面均优于基于优化的基线方法。

ABSTRACT

Microstructural materials design is one of the most important applications of inverse modeling in materials science. Generally speaking, there are two broad modeling paradigms in scientific applications: forward and inverse. While the forward modeling estimates the observations based on known parameters, the inverse modeling attempts to infer the parameters given the observations. Inverse problems are usually more critical as well as difficult in scientific applications as they seek to explore the parameters that cannot be directly observed. Inverse problems are used extensively in various scientific fields, such as geophysics, healthcare and materials science. However, it is challenging to solve inverse problems, because they usually need to learn a one-to-many non-linear mapping, and also require significant computing time, especially for high-dimensional parameter space. Further, inverse problems become even more difficult to solve when the dimension of input (i.e. observation) is much lower than that of output (i.e. parameters). In this work, we propose a framework consisting of generative adversarial networks and mixture density networks for inverse modeling, and it is evaluated on a materials science dataset for microstructural materials design. Compared with baseline methods, the results demonstrate that the proposed framework can overcome the above-mentioned challenges and produce multiple promising solutions in an efficient manner.

研究动机与目标

• 解决材料科学中的逆向建模挑战，即需从观测到的材料性能反推微观结构参数。
• 克服从低维观测到高维微观结构之间的一对多、非线性映射的学习难题。
• 通过用单次前向传播推理替代迭代优化，降低计算成本与时间。
• 提升高维参数空间中真实数据分布的解多样性与覆盖范围。
• 实现高效、可扩展地生成多个满足目标光学吸收性能的候选微观结构。

提出的方法

• 训练 GAN 以学习高分辨率微观结构图像（x）的紧凑、低维潜在表示（z）。
• 利用训练好的 GAN 编码器将微观结构图像映射至潜在向量，实现降维。
• 训练 MDN 以建模条件分布 p(z|y)，其中 y 为目标光学吸收性能，z 为潜在码。
• MDN 在潜在码上学习高斯分布的混合，实现多样微观结构的一对多生成。
• 推理阶段，从 MDN 预测的混合分布中采样多个 z 向量，并使用 GAN 生成器解码为微观结构。
• 该框架通过利用学习到的潜在空间避免了迭代优化，实现单次前向传播的实时推理。

实验结果

研究问题

• RQ1 GAN-MDN 框架能否有效学习从材料性能到微观结构设计的逆映射？
• RQ2 与基于优化的逆向建模相比，该框架是否能生成更多样化且更准确的微观结构？
• RQ3 当输入（性能）维度远小于输出（微观结构）维度时，该框架表现如何？
• RQ4 该框架是否能在保持高解质量的同时实现高推理速度？
• RQ5 使用潜在空间表示如何提升训练稳定性与解的覆盖范围？

主要发现

• 所提出的 GAN-MDN 框架生成的微观结构其光学吸收性能与目标值的偏差显著小于基线方法，在 Data-I 上达到最小相对误差（REP）0.002，在 Data-II 上达到 0.001。
• 该框架在 Titan X GPU 上可在 10 秒内生成多个多样化的候选微观结构，而基于优化的方法需数小时才能收敛。
• 该框架优于基于优化的逆向建模方法，后者在 Data-I 中有 3 个目标性能与在 Data-II 中有 3 个目标性能未能收敛。
• MDN 方法在 Data-I 上的平均 REP 优于 PCA-MDN，表明其具有更优的稳定性和对数据分布的覆盖能力。
• 该框架在两个具有不同微观结构尺寸的数据集上均保持一致性能，表明其对输入维度具有鲁棒性。
• 使用 GAN 学习的潜在码相比直接从性能映射到图像，使 MDN 训练更稳定且更准确。