[論文レビュー] Flexible, Model-Agnostic Method for Materials Data Extraction from Text Using General Purpose Language Models

Maciej P. Polak, Shrey Modi+6 more|arXiv (Cornell University)|Feb 9, 2023

Machine Learning in Materials Science参考文献 53被引用数 9

ひとこと要約

本論文は、モデルに依存しない簡素なワークフローを、任意の人間監修を組み合わせて大規模言語モデルを用いて、全文から材料データを抽出する方法を提案しており、最小限のコーディングで中規模データベースに対して高い適合率と再現率を達成します。

ABSTRACT

Accurate and comprehensive material databases extracted from research papers are crucial for materials science and engineering, but their development requires significant human effort. With large language models (LLMs) transforming the way humans interact with text, LLMs provide an opportunity to revolutionize data extraction. In this study, we demonstrate a simple and efficient method for extracting materials data from full-text research papers leveraging the capabilities of LLMs combined with human supervision. This approach is particularly suitable for mid-sized databases and requires minimal to no coding or prior knowledge about the extracted property. It offers high recall and nearly perfect precision in the resulting database. The method is easily adaptable to new and superior language models, ensuring continued utility. We show this by evaluating and comparing its performance on GPT-3 and GPT-3.5/4 (which underlie ChatGPT), as well as free alternatives such as BART and DeBERTaV3. We provide a detailed analysis of the method's performance in extracting sentences containing bulk modulus data, achieving up to 90% precision at 96% recall, depending on the amount of human effort involved. We further demonstrate the method's broader effectiveness by developing a database of critical cooling rates for metallic glasses over twice the size of previous human curated databases.

研究の動機と目的

• テキストから材料データを効率的に抽出して中規模データベースを構築する動機づけ。
• 最小限のコーディングと任意の人間監修を組み込んだ一般的なLLMを活用する柔軟なワークフローを提案する。
• 複数のモデルと特性にわたって、手法が高い適合率と再現率を達成することを示す。
• バルクモジュラスの文を含むデータベースと、金属ガラスの臨界冷却速度のより大きなデータベースを構築することで適用性を示す。

提案手法

• 論文を文に分割し、ターゲット特性を含む文かをゼロショットで分類するためにLLMを用いる。
• 精度と再現率を改善するために、人間が検証した小さなデータセットでLLMをオプションでファインチューニングする（ステップ2）。
• 陽性文から材料、値、単位、任意の温度を含む完全なデータポイントへデータ構造化を行い、精度を高めるために人間の介在を取り入れる（ステップ3）。
• 最小限のコーディングで済む、あるいは全く不要な軽量なワークフローを提供し、さまざまなLLMや特性に適応可能。
• GPT-3、GPT-3.5/4、およびBARTやDeBERTaV3などのオープンモデル間の性能を比較し、バルクモジュラスの抽出をベンチマークとして重視する。

実験結果

リサーチクエスチョン

• RQ1 LLMsによる単純なゼロショットの文分類で、全文中の特定の材料特性を含む文を特定できるか。
• RQ2 人間の介在を伴うファインチューニングが、中規模データ抽出タスクの精度と再現率にどのように影響するか。
• RQ3 このワークフローを用いて約1000件のデータベースを構築する際の実用的なデータスループットと人間の作業コストはどの程度か。
• RQ4 大幅な再設計なしに、異なる特性や言語モデルに適応できるか。

主な発見

• LLMを用いたゼロショットの文分類は、ターゲット特性を含む文を高再現率で同定できる。精度はモデルとプロンプトによって異なる。
• オプションのステップ2での人間支援付きファインチューニングは、精度と再現率を改善し、最終的な構造化データのほぼ完璧な精度を実現する。
• ステップ3のデータ構造化は、モデルの確率と人間のレビューに導かれ、高い再現率を維持しつつほぼ完璧な精度を生み出し、1労働日で約1000件のデータベースを実現する。
• GPT-3/3.5/4 およびオープンモデル（BART、DeBERTaV3）を使用可能で、モデルとプロンプトによって性能は異なる。チャット型モデルは、報告された点で100%リコールを報告している。
• バルクモジュラスについては、人間の労力と用いたモデルに依存して、最大で90%の精度と96%の再現率を達成。
• 前例のある人手で編纂されたデータベースの2倍の規模となる、金属ガラスの臨界冷却速度データベースを構築することで、より広い有用性を示した。