[論文レビュー] MeLM, a generative pretrained language modeling framework that solves forward and inverse mechanics problems

Markus J. Buehler|arXiv (Cornell University)|Jun 30, 2023

Machine Learning in Materials Science被引用数 4

ひとこと要約

MeLM は、自己注意メカニズムを活用して、多様な材料およびスケールにおける前向きおよび逆問題の機械的問題を解く、生成的で自己回帰的な言語モデルフレームワークである。学習された相互作用ポテンシャルを通じて多粒子系をモデル化することで、機械的挙動の予測および新しい階層的構造（バイオインスパイアドハニカム、カーボンナノチューブ、タンパク質を含む）の設計において高い性能を達成する。

ABSTRACT

We report a flexible multi-modal mechanics language model, MeLM, applied to solve various nonlinear forward and inverse problems, that can deal with a set of instructions, numbers and microstructure data. The framework is applied to various examples including bio-inspired hierarchical honeycomb design, carbon nanotube mechanics, and protein unfolding. In spite of the flexible nature of the model-which allows us to easily incorporate diverse materials, scales, and mechanical features-it performs well across disparate forward and inverse tasks. Based on an autoregressive attention-model, MeLM effectively represents a large multi-particle system consisting of hundreds of millions of neurons, where the interaction potentials are discovered through graph-forming self-attention mechanisms that are then used to identify relationships from emergent structures, while taking advantage of synergies discovered in the training data. We show that the model can solve complex degenerate mechanics design problems and determine novel material architectures across a range of hierarchical levels, providing an avenue for materials discovery and analysis. Looking beyond the demonstrations reported in this paper, we discuss other opportunities in applied mechanics and general considerations about the use of large language models in modeling, design, and analysis that can span a broad spectrum of material properties from mechanical, thermal, optical, to electronic.

研究の動機と目的

• 多様な材料および長尺度にわたる複雑な前向きおよび逆問題を解くことのできる柔軟でマルチモーダルなフレームワークの開発。
• 指示、数値、および微細構造データを含む異種データ入力から機械的挙動をエンドツーエンドで学習することで、新しい材料アーキテクチャの発見を可能にすること。
• 大規模言語モデルの力学的応用を、テキストにとどまらず構造的・機械的およびマルチフィジカルな性質へと拡張すること。
• 退化した設計問題を処理し、複雑な系における出現的構造的関係を同定する能力をモデルが有するかを検証すること。
• 機械的、熱的、光学的、および電子的性質を含む、多スケール機械的解析と材料発見における生成的AIの基盤を確立すること。

提案手法

• 機械的系を粒子および相互作用の系列としてモデル化するため、自己回帰的トランスフォーマーに基づくアーキテクチャを適用する。
• グラフ形成自己注意メカニズムを用いて、多粒子系から相互作用ポテンシャルを発見し、粒子間の関係的推論を可能にする。
• テキスト指示、数値パラメータ、および微細構造データを統合したマルチモーダル入力を、統一された生成的モデリングフレームワークに統合する。
• 多様な力学的問題の学習を通じて、明示的な物理方程式を用いずに、データから出現する構造的および機械的関係を学習する。
• 自己回帰的生成を用いて、機械的応答（前向き問題）および逆設計（たとえば、目標剛性や変形）を所望の出力から予測する。
• トレーニングデータの相乗効果を活用して、バイオ材料およびナノ材料を含む、階層的レベルおよび材料タイプにわたる一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成的言語モデルは、非線形な材料応答を伴う複雑な前向き力学的問題を効果的に解くことができるか？
• RQ2 同じフレームワークは、目標機械的特性を達成する材料アーキテクチャを同定するような逆設計タスクを実行できるか？
• RQ3 テキスト、数値、画像などのマルチモーダル入力データのみを用いて、異なる材料、スケール、機械的特性にわたる一貫した一般化性能を示せるか？
• RQ4 トランスフォーマー構造における自己注意メカニズムは、多粒子系において意味のある相互作用ポテンシャルをどれだけ効果的に発見できるか？
• RQ5 明示的な物理モデルなしに、このようなモデルは退化した設計空間において、新しい高性能材料アーキテクチャを同定できるか？

主な発見

• MeLM は、バイオインスパイアド階層的ハニカムにおいて、変形および荷重耐性挙動を正確に予測し、前向き力学的問題を効果的に解いた。
• モデルは、特性を調整可能な新しいカーボンナノチューブアーキテクチャを生成し、効果的な逆設計能力を示した。
• MeLM は、タンパク質の折りたたみ経路を高い正確性で予測し、複雑なバイオ分子力学をモデル化できる能力を示した。
• フレームワークは、ナノスケールおよびマイクロスケールを含む、複数の材料タイプおよび階層的レベルにわたって一般化した。
• 自己注意メカニズムは、データから相互作用ポテンシャルを効果的に学習し、事前の物理法則なしに構造的関係を推論できるようにした。
• MeLM は、退化した設計問題において優れた性能を示し、ある機械的目標を満たす複数の実現可能な材料アーキテクチャを同定した。