[논문 리뷰] Accurate Prediction of Experimental Band Gaps from Large Language Model-Based Data Extraction

Samuel Yang, Shutong Li외 6명|arXiv (Cornell University)|2023. 11. 23.

Machine Learning in Materials Science인용 수 7

한 줄 요약

이 논문은 과학 문헌에서 실험적 밴드 갭 데이터를 추출하기 위한 대규모 언어 모델(Large Language Model, LLM) 기반 파이프라인을 제시하며, 이는 이전의 자동화된 방법보다 훨씬 낮은 오차율을 달성한다. 순수한 단일 결정성 다공성 물질에 한정하여 필터링하고, 그로 인해 얻어진 고품질 데이터셋으로 훈련시킴으로써, 저자들은 기존 인간이 수작업으로 정제한 데이터베이스에 비해 평균 절대 오차를 19% 낮추었다.

ABSTRACT

Machine learning is transforming materials discovery by providing rapid predictions of material properties, which enables large-scale screening for target materials. However, such models require training data. While automated data extraction from scientific literature has potential, current auto-generated datasets often lack sufficient accuracy and critical structural and processing details of materials that influence the properties. Using band gap as an example, we demonstrate Large language model (LLM)-prompt-based extraction yields an order of magnitude lower error rate. Combined with additional prompts to select a subset of experimentally measured properties from pure, single-crystalline bulk materials, this results in an automatically extracted dataset that's larger and more diverse than the largest existing human-curated database of experimental band gaps. Compared to the existing human-curated database, we show the model trained on our extracted database achieves a 19% reduction in the mean absolute error of predicted band gaps. Finally, we demonstrate that LLMs are able to train models predicting band gap on the extracted data, achieving an automated pipeline of data extraction to materials property prediction.

연구 동기 및 목표

• 기계 학습 모델의 훈련 데이터 부족 및 정확도 부족 문제를 해결하기 위해.
• 재료 과학 분야의 물성에 대한 과학 문헌에서의 자동화된 데이터 추출의 신뢰성을 향상시키기 위해.
• 전체 논문에서 실험적 밴드 갭을 추출하기 위한 확장 가능하고 낮은 오차를 가진 파이프라인을 개발하기 위해.
• LLM을 통해 추출한 데이터로 훈련된 모델이 기존에 정제된 데이터베이스를 기반으로 훈련된 모델보다 우수한 성능을 낼 수 있음을 보여주기 위해.
• 문헌에서 성능 예측까지의 종단 간 자동화된 워크플로우를 구축하기 위해.

제안 방법

• 과학 논문에서 밴드 갭 값을 추출하기 위해 소수의 예시를 활용한 프롬프팅 기반 LLM을 활용한다.
• 실험적으로 측정된 순수한 단일 결정성 다공성 물질에 한정하여 데이터를 필터링하기 위해 추가적인 LLM 프롬프팅을 적용한다.
• 필터링된 LLM 기반 추출 데이터에서 실험적 밴드 갭의 대규모이고 다양한 데이터셋을 구축한다.
• LLM 기반 추출 데이터셋을 기반으로 밴드 갭 예측을 위한 기계 학습 모델을 훈련시킨다.
• 기존에 가장 큰 인간이 수작업으로 정제한 실험적 밴드 갭 데이터베이스와의 성능을 검증한다.
• 데이터 품질 향상과 노이즈 감소를 위해 다단계 LLM 프롬프팅 전략을 사용한다.

실험 결과

연구 질문

• RQ1 LLM 기반의 데이터 추출 기법은 기존의 자동화된 방법보다 밴드 갭 추출 오차율을 낮출 수 있는가?
• RQ2 LLM 기반 추출 데이터를 순수한 단일 결정성 다공성 물질에 한정하여 필터링하면 데이터 품질과 예측 성능이 향상되는가?
• RQ3 LLM 기반 추출 데이터로 훈련된 기계 학습 모델이 인간이 수작업으로 정제한 데이터베이스를 기반으로 훈련된 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ4 LLM 기반 추출 데이터셋의 규모와 다양성은 기존의 정제된 데이터베이스와 비교해 어느 정도인가?
• RQ5 과학 문헌에서 재료 성능 예측까지의 종단 간 자동화된 파이프라인을 구축하는 것이 가능한가?

주요 결과

• LLM 기반 추출 방법은 이전의 자동화된 데이터 추출 기술에 비해 오차율이 한 계단 낮아졌다.
• 결과적으로 생성된 데이터셋은 기존에 가장 큰 인간이 수작업으로 정제한 실험적 밴드 갭 데이터베이스보다 더 크고 다양성이 높다.
• LLM 기반 추출 데이터셋으로 훈련된 모델은 인간이 수작업으로 정제한 데이터베이스를 기반으로 훈련된 모델에 비해 평균 절대 오차를 19% 낮췄다.
• LLM 파이프라인은 순수한 단일 결정성 다공성 물질에서 실험적으로 측정된 밴드 갭을 고정밀도로 식별하고 필터링하는 데 성공했다.
• 이 연구는 LLM을 활용하여 과학 문헌에서 정확한 재료 성능 예측까지의 완전한 자동화된 확장 가능한 파이프라인을 구현함을 보여주었다.
• LLM 기반 추출 데이터셋에서 나타난 성능 향상은 데이터의 품질과 대표성을 모델 정확도에 결정적인 영향을 미친다는 점을 시사한다.