[論文レビュー] Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT

Tong Xie, Yuwei Wan+9 more|arXiv (Cornell University)|Apr 5, 2023

Machine Learning in Materials Science被引用数 15

ひとこと要約

本論文は構造化情報推論（SII）を提案し、ペロブスカイト太陽電池のレビュー データセットでGPT-3をファインチューニングすることで高精度なデバイスレベルの情報抽出を実現し、下流のデータ分析およびデバイス性能予測を可能にすることを示す。GPT-3.5よりもNER/RE/ER/IIの性能が優れていることを示し、データセット構築とMDPタスクについて論じる。

ABSTRACT

The amount of data has growing significance in exploring cutting-edge materials and a number of datasets have been generated either by hand or automated approaches. However, the materials science field struggles to effectively utilize the abundance of data, especially in applied disciplines where materials are evaluated based on device performance rather than their properties. This article presents a new natural language processing (NLP) task called structured information inference (SII) to address the complexities of information extraction at the device level in materials science. We accomplished this task by tuning GPT-3 on an existing perovskite solar cell FAIR (Findable, Accessible, Interoperable, Reusable) dataset with 91.8% F1-score and extended the dataset with data published since its release. The produced data is formatted and normalized, enabling its direct utilization as input in subsequent data analysis. This feature empowers materials scientists to develop models by selecting high-quality review articles within their domain. Additionally, we designed experiments to predict the electrical performance of solar cells and design materials or devices with targeted parameters using large language models (LLMs). Our results demonstrate comparable performance to traditional machine learning methods without feature selection, highlighting the potential of LLMs to acquire scientific knowledge and design new materials akin to materials scientists.

研究の動機と目的

• 非構造化された材料文献からデバイスレベルの情報を抽出する課題に対処する。
• 構造化情報推論（SII）という新しいNLPタスクの定義と実装。
• ペロブスカイト太陽電池のFAIRデータセットを用いてGPT-3をファインチューニングし、構造化・正規化された出力を生成。
• SII出力が下流の分析やデバイスレベルの予測を始動する方法を示す。

提案手法

• 大規模な材料科学コーパスをGPT-3のファインチューニングに適したプレーンテキストスキーマへ変換する。
• スキーマと基になるテキストを整合させるファジーマッチングパイプラインを作成し、高一致サンプルを選択。
• 175Bモデル（davinci）を、4つのタスクタイプ（NER、ER、RE、II）に渡る31のキー値スキーマ出力でファインチューニング。
• 専門家が注釈したターゲットと出力を比較する多タスク指標でSIIを評価し、さらにドメイン専門家による手動評価を補完。
• デバイスレベルの情報抽出と専用の下流タスクにおける利得を確立するため、ファインチューニング済みGPT-3とGPT-3.5を比較する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済みのLLMは、デバイスレベルでNER、ER、RE、IIを組み合わせた構造化情報推論を実行できるか？
• RQ2 ペロブスカイト太陽電池データにおけるSIIタスクで、ファインチューニング済みGPT-3はGPT-3.5と比べてどう機能するか？
• RQ3 作成されたスキーマ出力は、下流のデータ分析やモデリングの入力として直接使用できるか？
• RQ4 このフレームワークは、文献由来データからデバイス性能予測（MDP）タスクを可能にするか？

主な発見

• ファインチューニング済みモデルは、NER（総F1 91.8 vs 28.7）およびREタスク（例：A-B 89.39 F1 vs 6.67）でGPT-3.5を大幅に上回る。
• 手動評価では、ファインチューニング済みモデルが総合スコアで顕著に高い（94.1 vs GPT-3.5の72.1）。
• REの結果は、A-B、A-C、ABC-Dの関係でファインチューニングモデルがそれぞれ89.39、82.33、68.49のF1を示し、GPT-3.5のスコアより高い。
• II/ERの結果は、II（91.80）とER（単位69.23、用語87.18）で高い精度を示す。
• データ効率でスキーマの迅速な学習を発見；先頭の50例で substantial gains、約100例を超えると利得は減少。