[论文解读] A Transfer Learning Approach for Microstructure Reconstruction and Structure-property Predictions

Xiaolin Li, Yichi Zhang+4 more|arXiv (Cornell University)|May 8, 2018

Machine Learning in Materials Science参考文献 33被引用 34

一句话总结

本文提出了一种基于迁移学习的深度学习框架，用于跨多种材料体系的显微组织重建与结构-性能预测。通过采用编码器-解码器架构，并结合特征匹配优化与模型剪枝技术，提取分层显微组织特征，该方法可在无需大量超参数调优或领域特定先验知识的情况下，实现可泛化的即插即用预测，且在具有不同几何复杂度的复杂显微组织上表现出色。

ABSTRACT

Stochastic microstructure reconstruction has become an indispensable part of computational materials science, but ongoing developments are specific to particular material systems. In this paper, we address this generality problem by presenting a transfer learning-based approach for microstructure reconstruction and structure-property predictions that is applicable to a wide range of material systems. The proposed approach incorporates an encoder-decoder process and feature-matching optimization using a deep convolutional network. For microstructure reconstruction, model pruning is implemented in order to study the correlation between the microstructural features and hierarchical layers within the deep convolutional network. Knowledge obtained in model pruning is then leveraged in the development of a structure-property predictive model to determine the network architecture and initialization conditions. The generality of the approach is demonstrated numerically for a wide range of material microstructures with geometrical characteristics of varying complexity. Unlike previous approaches that only apply to specific material systems or require a significant amount of prior knowledge in model selection and hyper-parameter tuning, the present approach provides an off-the-shelf solution to handle complex microstructures, and has the potential of expediting the discovery of new materials.

研究动机与目标

• 克服现有显微组织重建方法局限于单一材料体系且需大量领域特定调优的局限性。
• 开发一种可泛化的深度学习框架，可即插即用地应用于广泛材料体系，且仅需极少微调。
• 利用预训练网络中的模型剪枝知识，指导结构-性能预测模型的架构与初始化。
• 通过在任务间迁移学习到的特征，仅使用少量显微组织数据即可实现精确的显微组织重建与性能预测。
• 降低材料建模中模型选择与超参数调优对专家知识的依赖。

提出的方法

• 该方法采用深度卷积编码器-解码器网络，从统计描述符重建显微组织。
• 训练过程中使用特征匹配优化，对齐真实与生成显微组织的中间特征表示。
• 对训练好的编码器应用模型剪枝，以识别并提取网络各层中的分层显微组织特征。
• 将剪枝后编码器所学特征用于指导独立的结构-性能预测模型的架构与初始化。
• 通过重用预训练编码器特征作为固定特征提取器，将迁移学习应用于下游性能预测任务。
• 该方法在具有不同几何复杂度的多样化材料显微组织上进行训练与评估，包括具有复杂形貌与多相结构的体系。

实验结果

研究问题

• RQ1 在某一材料体系上训练的深度学习框架，是否能泛化至其他不相似的材料体系，实现显微组织重建与性能预测？
• RQ2 如何从预训练网络中提取分层显微组织特征，以指导结构-性能建模？
• RQ3 迁移学习在多大程度上可减少显微组织建模中对超参数调优与领域特定知识的依赖？
• RQ4 对重建网络进行模型剪枝，能否揭示与性能预测相关的可解释显微组织特征？
• RQ5 所提出方法是否能在训练数据有限的情况下实现高精度的显微组织重建与性能预测？

主要发现

• 所提出的迁移学习框架在无需系统特定微调或大量超参数调优的情况下，实现了跨多样化材料体系的高保真显微组织重建。
• 模型剪枝成功识别出与结构复杂性相关且可预测宏观性能的分层显微组织特征。
• 从重建网络剪枝中获得的知识显著提升了下游结构-性能预测模型的准确率与收敛速度。
• 该方法展现出强大的泛化能力，在具有复杂几何结构与多相形貌的显微组织上均实现了精确预测。
• 该方法降低了对专家知识在模型设计与超参数选择中的依赖，为材料发现提供了即插即用的解决方案。
• 定量评估表明，该框架在重建保真度与预测准确率方面优于传统方法，尤其在低数据场景下表现更优。