[논문 리뷰] Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering

Maciej P. Polak, Dane Morgan|arXiv (Cornell University)|2023. 03. 07.

Machine Learning in Materials Science참고 문헌 42인용 수 16

한 줄 요약

이 논문은 ChatExtract를 제시합니다, 컨버세이셔널 LLM과 프롬프트를 사용한 제로샷 데이터 추출 워크플로우로 논문에서 Material–Value–Unit triplets를 추출하고, 높은 정밀도와 재현율을 달성하며 재료의 벌크 모듈러스, 임계 냉각 속도, HEA 항복 강도에 대한 재료 데이터베이스를 구축합니다.

ABSTRACT

There has been a growing effort to replace manual extraction of data from research papers with automated data extraction based on natural language processing, language models, and recently, large language models (LLMs). Although these methods enable efficient extraction of data from large sets of research papers, they require a significant amount of up-front effort, expertise, and coding. In this work we propose the ChatExtract method that can fully automate very accurate data extraction with minimal initial effort and background, using an advanced conversational LLM. ChatExtract consists of a set of engineered prompts applied to a conversational LLM that both identify sentences with data, extract that data, and assure the data's correctness through a series of follow-up questions. These follow-up questions largely overcome known issues with LLMs providing factually inaccurate responses. ChatExtract can be applied with any conversational LLMs and yields very high quality data extraction. In tests on materials data we find precision and recall both close to 90% from the best conversational LLMs, like ChatGPT-4. We demonstrate that the exceptional performance is enabled by the information retention in a conversational model combined with purposeful redundancy and introducing uncertainty through follow-up prompts. These results suggest that approaches similar to ChatExtract, due to their simplicity, transferability, and accuracy are likely to become powerful tools for data extraction in the near future. Finally, databases for critical cooling rates of metallic glasses and yield strengths of high entropy alloys are developed using ChatExtract.

연구 동기 및 목표

• 연구 논문에서 자동화된 데이터 추출의 필요성을 제시하여 수작업 큐레이션을 대체한다.
• 최소한의 초기 노력을 요구하는 제로샷 데이터 추출 워크플로우를 개발한다.
• 데이터 문장을 식별하고 Material–Value–Unit triplets를 추출하는 이전 가능(전달 가능한) 프롬프트 세트를 생성한다.
• 여러 특성에 대해 방법을 시연하고 공개 데이터베이스를 구축한다.
• 프롬프트 설계와 대화 기억이 추출 정확도에 미치는 영향을 평가한다.

제안 방법

• 두 단계 워크플로우를 사용한다: 단계 A는 문장 관련성 분류이고 단계 B는 관련 문장으로부터 데이터 추출이다.
• 데이터를 단일값 단위와 다중값 사례로 나누어 추출 프롬프트를 맞춤화한다.
• 누락 데이터에 대한 명시적 처리를 포함하여 허위정보 생성을 억제한다.
• 단일 대화 내에서 불확실성 유발 후속 프롬프트를 통해 중복성을 활용하여 정확도를 높인다.
• 자동화를 단순화하고 모호성을 줄이기 위해 엄격한 예/아니오 응답 형식을 시행한다.
• 대화식 LLM의 정보 기억력을 활용하여 후속 질문을 이전 응답과 연결한다.

실험 결과

연구 질문

• RQ1 제로샷, 프롬프트 엔지니어링된 컨버세이셔널 LLM이 미세조정 없이 과학 텍스트에서 Material–Value–Unit triplets를 정확히 추출할 수 있는가?
• RQ2 문장의 단일값 데이터와 다중값 데이터가 추출 성능 및 오류 모드에 어떤 영향을 미치는가?
• RQ3 후속 질문과 대화 기억이 데이터 추출의 정밀도와 재현율에 어떤 영향을 미치는가?
• RQ4 ChatExtract가 금속 및 합금을 포함한 다양한 물질 특성과 데이터베이스에 대해 이전 가능하게 되는가?

주요 결과

• The best model (ChatGPT-4) achieved 90.8% precision and 87.7% recall on bulk modulus data.
• For critical cooling rates of bulk metallic glasses, ChatGPT-4 achieved 91.6% precision and 83.6% recall on a practical database construction example.
• Single-valued sentences yielded higher recall (100% with ChatGPT-4; 85.5% with ChatGPT-3.5) than multi-valued sentences (82.7% with ChatGPT-4; 55.9% with ChatGPT-3.5).
• Removing follow-up questions dramatically reduced overall precision (to 42.7% for ChatGPT-4 and 26.5% for ChatGPT-3.5).
• Starting a new conversation (no chat history) preserved precision with ChatGPT-3.5 but reduced recall, illustrating the importance of conversational retention.
• ChatExtract enabled creation of raw, cleaned, and standardized databases for bulk metallic glasses, high-entropy alloys, and HEA yield strengths, with standardized data achieving high precision (e.g., 91.9% precision for standardized critical cooling rates).