[论文解读] MeLM, a generative pretrained language modeling framework that solves forward and inverse mechanics problems

Markus J. Buehler|arXiv (Cornell University)|Jun 30, 2023

Machine Learning in Materials Science被引用 4

一句话总结

MeLM 是一种生成式、自回归的语言建模框架，利用自注意力机制解决跨多种材料和尺度的正向与反向力学问题。通过学习粒子间相互作用势能来建模多粒子系统，它在预测力学行为和设计新型分层结构（包括仿生蜂窝、碳纳米管和蛋白质）方面表现出色。

ABSTRACT

We report a flexible multi-modal mechanics language model, MeLM, applied to solve various nonlinear forward and inverse problems, that can deal with a set of instructions, numbers and microstructure data. The framework is applied to various examples including bio-inspired hierarchical honeycomb design, carbon nanotube mechanics, and protein unfolding. In spite of the flexible nature of the model-which allows us to easily incorporate diverse materials, scales, and mechanical features-it performs well across disparate forward and inverse tasks. Based on an autoregressive attention-model, MeLM effectively represents a large multi-particle system consisting of hundreds of millions of neurons, where the interaction potentials are discovered through graph-forming self-attention mechanisms that are then used to identify relationships from emergent structures, while taking advantage of synergies discovered in the training data. We show that the model can solve complex degenerate mechanics design problems and determine novel material architectures across a range of hierarchical levels, providing an avenue for materials discovery and analysis. Looking beyond the demonstrations reported in this paper, we discuss other opportunities in applied mechanics and general considerations about the use of large language models in modeling, design, and analysis that can span a broad spectrum of material properties from mechanical, thermal, optical, to electronic.

研究动机与目标

• 开发一种灵活的多模态框架，能够解决跨多种材料和长度尺度的复杂正向与反向力学问题。
• 通过从异构数据输入（包括指令、数值和显微结构数据）端到端学习力学行为，实现新型材料结构的发现。
• 探索大语言模型在力学中的应用，超越文本范畴，涵盖结构、力学及多物理场特性。
• 展示模型处理退化设计问题的能力，并识别复杂系统中涌现的结构关系。
• 为在材料发现和多尺度力学分析中使用生成式人工智能奠定基础，涵盖力学、热学、光学和电学性能。

提出的方法

• 将基于自回归 Transformer 的架构适配为将力学系统建模为粒子及其相互作用的序列。
• 采用图结构自注意力机制，从多粒子系统中发现相互作用势能，实现在粒子间的关联推理。
• 将多模态输入（文本指令、数值参数和显微结构数据）整合到统一的生成建模框架中。
• 在多样化的力学问题上进行训练，从未显式给出物理方程的数据中学习涌现的结构与力学关系。
• 利用自回归生成方法，从期望输出预测力学响应（正向问题）和反向设计（如目标刚度或变形）。
• 利用训练数据中的协同效应，在分层结构和材料类型（包括生物材料和纳米材料）之间实现泛化。

实验结果

研究问题

• RQ1 生成式语言模型能否有效解决涉及复杂非线性材料响应的正向力学问题？
• RQ2 同一框架能否执行反向设计任务，如识别实现目标力学性能的材料结构？
• RQ3 单一模型在仅使用多模态输入数据的情况下，能否在不同类型材料、尺度和力学特性之间实现良好泛化？
• RQ4 Transformer 架构中的自注意力机制在多粒子系统中发现有意义相互作用势能的能力有多强？
• RQ5 此类模型能否在缺乏显式物理建模的情况下，从退化设计空间中识别出新颖且高性能的材料结构？

主要发现

• MeLM 成功解决了仿生分层蜂窝结构的正向力学问题，准确预测了其变形和承载响应。
• 该模型生成了具有定制力学性能的新型碳纳米管结构，展示了其高效的反向设计能力。
• MeLM 以高保真度预测了蛋白质的展开路径，表明其具备建模复杂生物大分子力学的能力。
• 该框架在多种材料类型和分层结构上实现了泛化，涵盖纳米和微尺度系统。
• 自注意力机制能有效从数据中学习相互作用势能，使模型在无需先验物理定律的情况下推断结构关系。
• MeLM 在退化设计问题上表现优异，能为给定的力学目标识别出多种可行的材料结构。