[論文レビュー] Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering

Maciej P. Polak, Dane Morgan|arXiv (Cornell University)|Mar 7, 2023

Machine Learning in Materials Science参考文献 42被引用数 16

ひとこと要約

本論文は、対話型LLMとプロンプトを用いたゼロショットデータ抽出ワークフローChatExtractを提案し、論文からMaterial–Value–Unit三つ組を抽出して高い精度と再現率を達成し、体積弾性率、臨界冷却速度、HEA降伏強さの材料データベースを構築する。

ABSTRACT

There has been a growing effort to replace manual extraction of data from research papers with automated data extraction based on natural language processing, language models, and recently, large language models (LLMs). Although these methods enable efficient extraction of data from large sets of research papers, they require a significant amount of up-front effort, expertise, and coding. In this work we propose the ChatExtract method that can fully automate very accurate data extraction with minimal initial effort and background, using an advanced conversational LLM. ChatExtract consists of a set of engineered prompts applied to a conversational LLM that both identify sentences with data, extract that data, and assure the data's correctness through a series of follow-up questions. These follow-up questions largely overcome known issues with LLMs providing factually inaccurate responses. ChatExtract can be applied with any conversational LLMs and yields very high quality data extraction. In tests on materials data we find precision and recall both close to 90% from the best conversational LLMs, like ChatGPT-4. We demonstrate that the exceptional performance is enabled by the information retention in a conversational model combined with purposeful redundancy and introducing uncertainty through follow-up prompts. These results suggest that approaches similar to ChatExtract, due to their simplicity, transferability, and accuracy are likely to become powerful tools for data extraction in the near future. Finally, databases for critical cooling rates of metallic glasses and yield strengths of high entropy alloys are developed using ChatExtract.

研究の動機と目的

• 研究論文から自動データ抽出を動機づけ、手動キュレーションを置換する。
• 最小限の事前労力でゼロショットデータ抽出ワークフローを開発する。
• データ文を識別し Material–Value–Unit三つ組を抽出する転用可能なプロンプト群を作成する。
• 複数の特性で方法を実証し、公的データベースを構築する。
• プロンプト設計と対話メモリが抽出精度に与える影響を評価する。

提案手法

• Stage Aは文の関連性分類、Stage Bは関連文からのデータ抽出の2段階ワークフローを使用。
• データを単一値ケースと多値ケースに分割し、抽出プロンプトを適合させる。
• 欠損データの明示的処理を組み込み、幻覚を抑制。
• 確信度を引き起こすフォローアッププロンプトを同一会話内で冗長性として活用し、精度を向上。
• 自動化を単純化し曖昧さを減らすためStrict Yes/No回答形式を適用。
• 対話 LLMの情報保持を活用してフォローアップ質問を前回の回答と結びつける。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットでプロンプト設計された対話型LLMsはファインチューニングなしに科学文献からMaterial–Value–Unit三つ組を正確に抽出できるか？
• RQ2 文中の単一値データと多値データは抽出性能やエラーモードにどう影響するか？
• RQ3 フォローアップ質問と対話メモリはデータ抽出の精度と再現率にどのような影響を与えるか？
• RQ4 ChatExtractは金属・合金を含む異なる材料特性とデータベースへ転用可能か？

主な発見

• 最良モデル(ChatGPT-4)は体積弾性率データで90.8%の精度と87.7%の再現率を達成。
• 臨界冷却速度の実用データベース構築例でChatGPT-4は91.6%の精度と83.6%の再現率。
• 単一値文は多値文より再現率が高い（ChatGPT-4で100%、ChatGPT-3.5で85.5%）一方、多値文はChatGPT-4で82.7%、ChatGPT-3.5で55.9%。
• フォローアップ質問を除くと全体の精度が大幅に低下（ChatGPT-4で42.7%、ChatGPT-3.5で26.5%）。
• 新しい会話を開始（チャット履歴なし）ではChatGPT-3.5の精度を維持したが再現率は低下、対話保持の重要性を示す。
• ChatExtractは生データ、クレンジング済みデータ、標準化データベースを構築し、標準化データは高い精度を達成（例：標準化された臨界冷却速度で精度91.9%）。