[논문 리뷰] Construction and Application of Materials Knowledge Graph in Multidisciplinary Materials Science via Large Language Model

Yanpeng Ye, Jie Ren외 7명|arXiv (Cornell University)|2024. 04. 03.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 15만 편의 과학 논문 초록에서 물질 이름, 화학식, 물성, 응용 분야 등 구조화된 삼항관계를 추출하기 위해 대규모 언어 모델(Large Language Model, LLM) 기반 파이프라인을 제안한다. 최소한의 주석 데이터로 LLM을 피지테이닝하고 종단 간(end-to-end) 접근 방식을 사용함으로써 FMKG(Functional Materials Knowledge Graph)는 실체 및 관계 추출에서 높은 정밀도를 달성하여 다학문적 소재 과학 분야에서 추적 가능하고 정확한 지식 통합을 가능하게 한다.

ABSTRACT

Knowledge in materials science is widely dispersed across extensive scientific literature, posing significant challenges to the efficient discovery and integration of new materials. Traditional methods, often reliant on costly and time-consuming experimental approaches, further complicate rapid innovation. Addressing these challenges, the integration of artificial intelligence with materials science has opened avenues for accelerating the discovery process, though it also demands precise annotation, data extraction, and traceability of information. To tackle these issues, this article introduces the Materials Knowledge Graph (MKG), which utilizes advanced natural language processing techniques integrated with large language models to extract and systematically organize a decade's worth of high-quality research into structured triples, contains 162,605 nodes and 731,772 edges. MKG categorizes information into comprehensive labels such as Name, Formula, and Application, structured around a meticulously designed ontology, thus enhancing data usability and integration. By implementing network-based algorithms, MKG not only facilitates efficient link prediction but also significantly reduces reliance on traditional experimental methods. This structured approach not only streamlines materials research but also lays the groundwork for more sophisticated science knowledge graphs.

연구 동기 및 목표

• 1000만 편 이상의 과학 논문에 산재한 분산되고 비정형적인 소재 지식의 문제를 해결한다.
• 계산 예측에 의존하거나 실험적 근거가 부족한 기존 데이터베이스의 한계를 극복한다.
• 전체 과학 논문 기반의 다학문적 소재 지식 그래프를 구축하기 위한 확장성 있고 정밀하며 추적 가능한 방법을 개발한다.
• 응용, 합성, 특성 분석, 물성 데이터를 통합한 유일한 지식 구조로 응용 분야 간의 발견을 가능하게 한다.
• 향후 지식 그래프 확장과 기존 데이터베이스(MatKG 및 Materials Project 등)와의 상호운용성을 위한 기반을 마련한다.

제안 방법

• 소재 과학 텍스트의 소규모 주석 데이터셋을 기반으로 LLM을 피지테이닝하여 실체 및 관계 추출 정확도를 향상시킨다.
• 분리된 오류 발생 가능성이 높은 모듈에 의존하지 않고 종단 간(end-to-end) LLM 파이프라인을 사용해 공동 명칭 인식(NER) 및 관계 추출(RE)을 수행한다.
• 9개의 의미적 레이블을 추출한다: 이름, 화학식, 약어, 구조/상태, 물성, 묘사어, 합성, 특성 분석 방법, 응용, 영역.
• 각 삼항관계의 원천 논문으로의 추적 가능성을 확보하기 위해 디지털 오브제트 식별자(DOI)를 통합한다.
• 정확도를 우선시하는 관계 추출 전략을 활용하여 사실적 신뢰성과 데이터 신뢰도를 극대화하기 위해 일부 재현율을 희생한다.
• LLM의 문맥 내 추론 능력과 세계 지식을 활용해 희귀하거나 복잡한 소재 용어가 존재하는 경우에도 관계를 유추한다.

Figure 1: (a) Workflow and (b) pipeline of the fine-tuned LLM for knowledge graph tasks.

실험 결과

연구 질문

• RQ1 피지테이닝된 LLM이 다양한 소재 과학 분야의 과학 초록에서 추적 가능한 구조화된 지식 삼항관계를 효과적으로 추출할 수 있는가?
• RQ2 LLM 기반 추출의 정밀도와 재현율이 NERRE 및 DarwinN과 같은 기존 NER/RE 기준선과 비교해 어떻게 다른가?
• RQ3 종단 간 LLM 파이프라인은 다단계 파이프라인에 비해 관계 추출 성능을 향상시키면서도 원천 추적 가능성을 유지하는 데 얼마나 효과적인가?
• RQ4 구축된 지식 그래프가 의미 있는 다학문적 소재 발견 및 응용 매핑을 지원할 수 있는가?
• RQ5 이러한 방법은 전체 논문 텍스트 및 더 넓은 과학 분야에 대해 얼마나 확장 가능하고 유연한가?

주요 결과

• FMKG 파이프라인은 핵심 레이블에서 경쟁적인 F1 스코어를 확보했으며, 특히 '약어'(F1: 0.727 vs. 0.500, NERRE 대비)에서 정밀도 향상이 두드러졌다.
• '묘사어', '응용', '구조/상태'의 경우 제안된 방법의 F1 스코어(0.862, 0.857, 0.730)가 NERRE(0.704, 0.832, 0.829)를 초월해 우수한 성능을 입증했다.
• 추출 과정에서 '이름'과 '화학식'에 대해 100% 정밀도를 달성하여 핵심 소재 식별자에 대한 높은 신뢰성을 보였다.
• 종단 간 LLM 접근 방식은 MatKG2와 같은 다단계 파이프라인에 비해 원천 추적 가능성을 유지하면서도 관계 추출 품질을 향상시켰다.
• 지식 그래프에는 15만 편의 동료 심사 과학 논문에서 추출한 수백만 개의 실체와 삼항관계가 포함되어 있으며, 종합적이고 실험적으로 기반을 둔 자원을 형성한다.
• 이 파이프라인은 전체 논문 및 다른 과학 분야로의 확장이 가능하여 도메인 특화 지식 그래프 구축을 위한 재사용 가능한 프레임워크를 제공한다.

Figure 2: This schematic represents the FMKG schema (a) All the nodes in FMKG connect to all their sources - "DOI". (b) Relations between all labels. (c) Relations between core labels, the more arrows pointing to the label, the lower the priority it has.