[논문 리뷰] Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT

Tong Xie, Yuwei Wan외 9명|arXiv (Cornell University)|2023. 04. 05.

Machine Learning in Materials Science인용 수 15

한 줄 요약

논문은 구조화된 정보 추론(SII)을 도입하고, 페로브스카이트 태양전지 검토 데이터셋에서 GPT-3를 미세조정하면 디바이스 수준 정보 추출에서 높은 정확도와 다운스트림 데이터 분석 및 디바이스 성능 예측을 가능하게 한다. 또한 GPT-3.5에 비해 NER/RE/ER/II 성능이 우수하다는 점을 보이고 데이터셋 구축 및 MDP 작업에 대해 논의한다.

ABSTRACT

The amount of data has growing significance in exploring cutting-edge materials and a number of datasets have been generated either by hand or automated approaches. However, the materials science field struggles to effectively utilize the abundance of data, especially in applied disciplines where materials are evaluated based on device performance rather than their properties. This article presents a new natural language processing (NLP) task called structured information inference (SII) to address the complexities of information extraction at the device level in materials science. We accomplished this task by tuning GPT-3 on an existing perovskite solar cell FAIR (Findable, Accessible, Interoperable, Reusable) dataset with 91.8% F1-score and extended the dataset with data published since its release. The produced data is formatted and normalized, enabling its direct utilization as input in subsequent data analysis. This feature empowers materials scientists to develop models by selecting high-quality review articles within their domain. Additionally, we designed experiments to predict the electrical performance of solar cells and design materials or devices with targeted parameters using large language models (LLMs). Our results demonstrate comparable performance to traditional machine learning methods without feature selection, highlighting the potential of LLMs to acquire scientific knowledge and design new materials akin to materials scientists.

연구 동기 및 목표

• 비정형 재료 문헌에서 디바이스 수준 정보를 추출하는 문제를 다룬다.
• 구조화된 정보 추론(SII)라는 새로운 NLP 작업을 정의하고 구현한다.
• 페로브스카이트 태양전지 FAIR 데이터셋에 대해 GPT-3를 미세조정하여 구조화되고 정규화된 출력물을 생성한다.
• SII 출력물이 다운스트림 분석 및 디바이스 수준 예측의 시드로 어떻게 활용될 수 있는지 시연한다.

제안 방법

• 대규모 재료과학 코퍼스를 GPT-3 미세조정에 적합한 평문 스키마로 변환한다.
• 스키마를 기저 텍스트와 일치시키고 높은 매치 샘플을 선택하기 위한 퍼지 매칭 파이프라인을 만든다.
• 175B GPT-3 모델(davinci)을 4가지 작업 유형(NER, ER, RE, II)에서 31개 키-값 스키마 출력에 대해 미세조정한다.
• 전문가 주석 대상과의 비교를 통한 다중 작업 메트릭으로 SII를 평가하고, 도메인 전문가의 수동 평가를 보완한다.
• 디바이스 수준 정보 추출 및 전용 다운스트림 작업에서의 이점을 확인하기 위해 미세조정된 GPT-3과 GPT-3.5를 비교한다.

실험 결과

연구 질문

• RQ1 미세조정된 LLM이 NER, ER, RE, II를 결합한 디바이스 수준의 구조화된 정보 추론을 수행할 수 있는가?
• RQ2 페로브스카이트 태양전지 데이터에서 SII 작업에 대한 미세조정된 GPT-3의 성능은 GPT-3.5와 비교하여 어떠한가?
• RQ3 생성된 스키마 출력물을 다운스트림 데이터 분석 및 모델링의 입력으로 직접 사용할 수 있는가?
• RQ4 이 프레임워크가 문헌 기반 데이터에서 디바이스 성능 예측(MDP) 작업을 가능하게 할 수 있는가?

주요 결과

• 미세조정된 모델은 NER에서 GPT-3.5를 크게 능가합니다(총 F1 91.8 대 28.7) 및 RE 작업에서 예를 들어 A-B 89.39 F1 대 6.67.
• 수동 평가에서 미세조정된 모델은 GPT-3.5 대비 전반 점수가 현저히 높다(94.1 대 72.1).
• RE 결과는 A-B, A-C, ABC-D 관계에서 각각 F1 점수가 89.39, 82.33, 68.49로 미세조정 모델의 강력한 성능을 보여주며, GPT-3.5의 점수에 비해 현저히 높다.
• II/ER 결과는 미세조정 모델에서 II(91.80) 및 ER(단위 69.23, 용어 87.18)의 높은 정확도를 나타낸다.
• 본 연구는 데이터 효율성을 가지는 스키마의 빠른 학습을 발견했고, 처음 50개의 예시에서 상당한 이득이 관찰되며 대략 100개 예시를 넘어서면서 수익이 감소한다.