[論文レビュー] A Prompt-Engineered Large Language Model, Deep Learning Workflow for Materials Classification

Siyu Liu, Tongqi Wen+2 more|arXiv (Cornell University)|Jan 31, 2024

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、大規模言語モデル（LLM）からのテクスト知識 distillation を活用してモデルの精度を向上させる、新しいプロンプト設計を施した大規模言語モデル（LLM）を強化したディープラーニングワークフローを提案する。プロンプト工学を用いて合成テキストデータを生成し、BERT モデルを微調整することで、従来のモデルと比較して、希少な金属ガラス分類タスクにおいて最大 463% の精度向上を達成し、全体で 97.7% の精度を達成した。

ABSTRACT

Large language models (LLMs) have demonstrated rapid progress across a wide array of domains. Owing to the very large number of parameters and training data in LLMs, these models inherently encompass an expansive and comprehensive materials knowledge database, far exceeding the capabilities of individual researcher. Nonetheless, devising methods to harness the knowledge embedded within LLMs for the design and discovery of novel materials remains a formidable challenge. We introduce a general approach for addressing materials classification problems, which incorporates LLMs, prompt engineering, and deep learning. Utilizing a dataset of metallic glasses as a case study, our methodology achieved an improvement of up to 463% in prediction accuracy compared to conventional classification models. These findings underscore the potential of leveraging textual knowledge generated by LLMs for materials especially in the common situation where datasets are sparse, thereby promoting innovation in materials discovery and design.

研究の動機と目的

• 無機材料分類における限られた希少な実験データの課題に取り組むこと、特に金属ガラスのような複雑な系において。
• 実験的またはシミュレーションベースの特徴量に依存せず、大規模言語モデル（LLM）からのテキスト知識を活用する汎用的なディープラーニングワークフローを構築すること。
• LLM が生成したテキストデータを微調整されたディープラーニングモデルと統合することで、特にリソースが乏しいカテゴリの分類精度を向上させること。
• 特定のデータ形式や特徴量設計に依存しない、普遍的かつ転送可能な材料分類フレームワークを確立すること。
• LLM を材料探索の知識源として用いる可能性と優位性を、特にデータが乏しい分野で実証すること。

提案手法

• ワークフローは、金属ガラスの形成カテゴリ（バルク、リボン、非リボン）を特定するような材料分類問題の定義から始まる。
• プロンプト工学を用いて、事前に学習された LLM から構造的でタスク固有の知識を抽出し、材料の組成とその分類を記述する合成テキストデータを生成する。
• 生成されたテキストデータはトークン化され、LLM が導出したテキスト特徴量に基づいて分類を行うように微調整された BERT モデルに供給される。
• 位置埋め込み技術が適用され、モデルがテキスト入力内のシーケンスレベルのパターンをよりよく捉える能力が向上する。
• 微調整された BERT モデルは、合成されたテキスト-ラベルペアで学習され、金属ガラスの実験データセット上で評価される。
• このアプローチは 5,577 種の金属ガラスからなるデータセットで検証され、従来の機械学習モデルと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 LLM が生成したテキスト知識は、実験データが乏しい場合に材料科学分野の分類精度を向上させることができるか？
• RQ2 プロンプト工学は、材料分類タスクに役立つ構造的で実行可能な知識を LLM から効果的に抽出できるか？
• RQ3 合成 LLM 生成テキストで微調整された BERT モデルは、従来の機械学習モデルと比較して、リソースが乏しい材料分類問題でどれほど優れた性能を示すか？
• RQ4 このワークフローは、大規模な再トレーニングや特徴量設計を必要とせずに、さまざまな材料や分類目的に一般化可能か？
• RQ5 位置埋め込みとプロンプト最適化は、材料テキスト分類におけるモデル性能にどのような影響を及えるか？

主な発見

• 提案されたワークフローは、5,577 件のサンプルからなる金属ガラスデータセットで全体で 97.7% の分類精度を達成し、従来のモデルを著しく上回った。
• 最小クラスであるバルク金属ガラス（BMG）—全データの約 11% を占める—では、従来の機械学習モデルと比較して 463% の精度向上を達成した。
• LLM が生成したテキストデータで微調整された BERT モデルは、全分類タスクにおいてベースラインモデルと比較して 48% の精度向上を示した。
• この手法は、希少で不均衡なデータセットに対しても頑健な性能を示し、低データ材料探索の可能性を示した。
• プロンプト設計を施した LLM を知識源として統合することで、手動による特徴量設計やシミュレーションデータへの依存なしに、高品質な特徴表現が可能になった。
• このワークフローは汎用的であり、安定性、腐食抵抗性、オプトエレクトロニクス特性など、さまざまな材料分類問題に適応可能である。