[논문 리뷰] Agent-based Learning of Materials Datasets from Scientific Literature

Mehrad Ansari, Seyed Mohamad Moosavi|arXiv (Cornell University)|2023. 12. 18.

Machine Learning in Materials Science인용 수 12

한 줄 요약

나쁘지 않다: Eunomia를 소개하는 화학 정보에 기반한 AI 에이전트로, GPT-4에 의해 구동되며 비구조화된 문헌으로부터 구조화된 재료 데이터셋을 자율적으로 구성하고, 세 가지 NLP 정보 추출 과제에서 미세조정된 기준선 대비 제로샷 성능으로 경쟁력을 보인다.

ABSTRACT

Advancements in machine learning and artificial intelligence are transforming materials discovery. Yet, the availability of structured experimental data remains a bottleneck. The vast corpus of scientific literature presents a valuable and rich resource of such data. However, manual dataset creation from these resources is challenging due to issues in maintaining quality and consistency, scalability limitations, and the risk of human error and bias. Therefore, in this work, we develop a chemist AI agent, powered by large language models (LLMs), to overcome these challenges by autonomously creating structured datasets from natural language text, ranging from sentences and paragraphs to extensive scientific research articles. Our chemist AI agent, Eunomia, can plan and execute actions by leveraging the existing knowledge from decades of scientific research articles, scientists, the Internet and other tools altogether. We benchmark the performance of our approach in three different information extraction tasks with various levels of complexity, including solid-state impurity doping, metal-organic framework (MOF) chemical formula, and property relations. Our results demonstrate that our zero-shot agent, with the appropriate tools, is capable of attaining performance that is either superior or comparable to the state-of-the-art fine-tuned materials information extraction methods. This approach simplifies compilation of machine learning-ready datasets for various materials discovery applications, and significantly ease the accessibility of advanced natural language processing tools for novice users in natural language. The methodology in this work is developed as an open-source software on https://github.com/AI4ChemS/Eunomia.

연구 동기 및 목표

• 비구조화된 문헌에서 구조화된 재료 데이터 추출의 필요성을 제시하여 ML 기반 발견을 가속화한다.
• 미세 조정 없이 LLM과 도메인 도구를 활용하는 자율 화학 AI 에이전트(Eunomia)를 개발한다.
• 세 가지 점진적으로 복잡해지는 재료 NLP 과제에서 제로샷 정보 추출 성능을 시연한다.
• 환각을 줄이고 데이터 품질을 개선하기 위한 도구 보강 검증을 선보인다.
• 연구자와 비전문가의 채택을 돕기 위한 오픈 소스 도구 및 데이터셋을 제공한다.

제안 방법

• 계획 및 도구 사용(ReAct) 기능을 갖춘 GPT-4 기반 에이전트(Eunomia)를 사용하여 텍스트에서 데이터를 추출한다.
• 문헌, 데이터베이스 및 구조화 출력을 다루기 위해 화학정보 도구 세트(Doc Search, Dataset Search, CSV Generator)로 LLM을 보강한다.
• 정의된 기준에 따라 에이전트 출력물을 반복적으로 검증하는 검증 체인(CoV) 프로세스를 구현하여 환각을 줄인다.
• 세 가지 사례 연구(호스트-다수 도펀트 관계, MOF 식/게스트 종, MOF 물 안정성 특성)를 미세 조정된 LLM(NERRE) 기준선과 비교한다.
• 출력물을 구조화된 데이터셋(CSV/JSON)으로 표현하고, 오픈 소스 코드와 Streamlit 앱을 통한 배포를 제공한다.

실험 결과

연구 질문

• RQ1 무작위 샘플링, 도구 보강이 된 제로샷 LLM 기반 에이전트가 재료과학 분야의 과학 텍스트에서 NER/관계 추출 데이터를 안정적으로 추출할 수 있는가?
• RQ2 단일 문장에서 전체 논문까지 점진적으로 어려워지는 작업에서 Eunomia의 성능은 미세 조정된 기준선과 비교하여 어떻게 되는가?
• RQ3 체인 오브 베리피케이션(CoV)이 환각을 줄이고 추출 정확도와 수율을 향상시키는가?
• RQ4 비전문가가 문헌에서 ML 준비 데이터세트를 생성하기 위해 오픈 소스 에이전트 프레임워크의 실용성과 사용성이 얼마나 높은가?

주요 결과

Case Study	Model	Entity Type	Precision	Recall	F1 Score
Case Study 1	LLM-NERRE	hosts	0.892	0.874	0.883
Case Study 1	Eunomia	hosts	0.753	0.768	0.760
Case Study 1	Eunomia+CoV	hosts	0.964	0.853	0.905
Case Study 1	LLM-NERRE	dopants	0.831	0.812	0.821
Case Study 1	Eunomia	dopants	0.859	0.788	0.822
Case Study 1	Eunomia+CoV	dopants	0.962	0.882	0.920
Case Study 2	LLM-NERRE	mof formula	0.409	0.455	0.424
Case Study 2	Eunomia	mof formula	0.623	0.589	0.606
Case Study 2	LLM-NERRE	guest species	0.588	0.665	0.606
Case Study 2	Eunomia	guest species	0.429	0.923	0.585
Case Study 3	Eunomia+CoV	MOF water stability (ternary accuracy)	-	-	0.91

• Eunomia는 특히 Chain-of-Verification으로 보강될 때 사례 연구 평가에서 미세 조정된 기준선과 종종 대등하거나 그 이상으로 성능을 보인다.
• 사례 연구 1(호스트-다수 도펀트): Eunomia+CoV가 호스트 및 도펀트에 대해 각각 0.905와 0.920의 최고 F1 점수를 달성했다(LLM-NERRE 대비).
• 사례 연구 2(MOF 식/게스트 종): Eunomia는 MOF 식에서 F1을 0.606으로 개선하여 LLM-NERRE의 0.424를 상회; 게스트 종의 경우 재현율은 높지만 정밀도는 낮다(재현율 0.923, 정밀도 0.429).
• 사례 연구 3(MOF 물 안정성): CoV를 사용하면 수율 86.20% 및 삼원 수 정확도 0.91를 달성; CoV가 없으면 정확도가 0.86으로, 수율은 82.70%로 하락한다.
• 도메인 인식 도구를 갖춘 제로샷 데이터 추출을 신속하게 가능하게 하며 주석 부담을 줄이고 인간이 개입하는 감독을 가능하게 한다.
• 모든 데이터와 코드는 재현성과 재사용을 위한 공개 저장소(GitHub)에 공개되어 있다.