[論文レビュー] MechGPT, a language-based strategy for mechanics and materials modeling that connects knowledge across scales, disciplines and modalities

Markus J. Buehler|arXiv (Cornell University)|Oct 16, 2023

Machine Learning in Materials Science被引用数 7

ひとこと要約

MechGPTは、力学および材料科学分野におけるスケール、分野、モダリティを横断した知識統合を目的としたファインチューニング済み大規模言語モデル（LLM）です。リtrieval-augmented generationとontology知識グラフを活用することで、仮説生成、クロスドメイン推論、解釈可能な知識抽出を可能にし、13B〜70Bパラメータのモデルと10,000トークンを超えるコンテキスト長を備えています。

ABSTRACT

For centuries, researchers have sought out ways to connect disparate areas of knowledge. While early scholars (Galileo, da Vinci, etc.) were experts across fields, specialization has taken hold later. With the advent of Artificial Intelligence, we can now explore relationships across areas (e.g., mechanics-biology) or disparate domains (e.g., failure mechanics-art). To achieve this, we use a fine-tuned Large Language Model (LLM), here for a subset of knowledge in multiscale materials failure. The approach includes the use of a general-purpose LLM to distill question-answer pairs from raw sources followed by LLM fine-tuning. The resulting MechGPT LLM foundation model is used in a series of computational experiments to explore its capacity for knowledge retrieval, various language tasks, hypothesis generation, and connecting knowledge across disparate areas. While the model has some ability to recall knowledge from training, we find that LLMs are particularly useful to extract structural insights through Ontological Knowledge Graphs. These interpretable graph structures provide explanatory insights, frameworks for new research questions, and visual representations of knowledge that also can be used in retrieval-augmented generation. Three versions of MechGPT are discussed, featuring different sizes from 13 billion to 70 billion parameters, and reaching context lengths of more than 10,000 tokens. This provides ample capacity for sophisticated retrieval augmented strategies, as well as agent-based modeling where multiple LLMs interact collaboratively and/or adversarially, the incorporation of new data from the literature or web searches, as well as multimodality.

研究の動機と目的

• 材料科学におけるスケール（原子的からマクロ的まで）、分野（力学、生物学、芸術）およびデータモダリティ（テキスト、画像、方程式）を横断した知識ギャップを埋める。
• 多様な科学的文献から知識を取得・推論・仮説を生成できる基盤となるLLMの開発。
• 解釈可能性を高め、検索を容易にするために、ontology知識グラフによる解釈可能な知識表現の実現。
• 大規模コンテキストを活用した大規模言語モデルを用いた、エージェントベースモデリングやマルチモーダル統合といった高度なAIワークフローの支援。
• LLMが力学および材料モデリング分野における断片的な分野を結びつけることで、発見を加速する有効性の実証。

提案手法

• マルチスケール材料破壊に関する生科学的ソースから抽出した質問・回答ペアを用いて、汎用LLMのファインチューニング。
• リトリーブ・アンタレーテッド・ジェネレーション（RAG）を用いて、応答の知識の根拠を強化し、誤り（ホールーシネーション）を低減。
• LLMが抽出した関係性からontology知識グラフを構築し、解釈可能で視覚化可能かつクエリ可能な知識構造を提供。
• 13B、34B、70Bパラメータの3バージョンのMechGPTを訓練し、10,000トークンを超えるコンテキスト長をサポート。
• 文献およびウェブ検索からの外部データ統合により、動的知識更新とエージェントベース協働を可能に。
• 知識グラフフレームワークを通じて、テキスト的、記号的、視覚的知識表現を結びつけることで、マルチモーダル推論を支援。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済みLLMは、力学および材料科学分野におけるマルチスケール・マルチドメイン知識の取得と推論を効果的に実行できるか？
• RQ2 破壊力学と芸術的表現といった断片的な分野を結びつけることで、LLMは検証可能な仮説をどれほど効果的に生成できるか？
• RQ3 ontology知識グラフは、材料モデリングにおける解釈可能性と検索精度をどの程度向上させるか？
• RQ4 大規模コンテキストLLMは、エージェントベースモデリングやマルチモーダル推論といった複雑なワークフローを科学的発見において支援できるか？
• RQ5 モデル規模（13B〜70Bパラメータ）の変化が、材料科学タスクにおける知識保持および推論性能に与える影響はいかほどか？

主な発見

• MechGPTは、外部知識ソースを統合することで、知識抽出およびクロスドメイン推論の能力が顕著に高いことを示した。
• LLMが抽出したontology知識グラフは、解釈可能で視覚的かつクエリ可能な科学的関係の表現を提供する。
• リトリーブ・アンタレーテッド・ジェネレーションを用いることで、標準的なLLMに比べて誤りが減少し、推論および仮説生成の能力が向上した。
• 大規模なモデルサイズ（最大70Bパラメータ）と拡張されたコンテキスト長（10,000トークン以上）により、より洗練されたリトリーブおよびマルチエージェント推論ワークフローが可能になった。
• 知識グラフを通じたマルチモーダルデータ統合により、純粋なテキストベースの推論を超えた、より豊かで文脈に即した科学的探求が可能になった。
• MechGPTは、意味的および構造的類似性を通じて、従来分離されていた分野（力学と芸術）を結びつけることで、新たな研究的道筋を提供した。