[논문 리뷰] Automated Extraction of Multicomponent Alloy Data Using Large Language Models for Sustainable Design

Arjun Sundaram, Mohit Chakraborty외 3명|arXiv (Cornell University)|2026. 02. 04.

Machine Learning in Materials Science인용 수 0

한 줄 요약

논문은 HEA 문헌 전반에서 텍스트와 표로부터 합금 데이터를 추출하는 LLM 기반 2단계 파이프라인을 개발하여 지속 가능한 재료 설계를 위한 대규모 데이터베이스를 구축하고 세 가지 도메인에의 응용을 보여준다.

ABSTRACT

The design of sustainable materials requires access to materials performance and sustainability data from literature corpus in an organized, structured and automated manner. Natural language processing approaches, particularly large language models (LLMs), have been explored for materials data extraction from the literature, yet often suffer from limited accuracy or narrow scope. In this work, an LLM-based pipeline is developed to accurately extract alloy-related information from both textual descriptions and tabular data across the literature on high-entropy (or multicomponent) alloys (HEA). Specifically two databases with 37,711 and 148,069 entries respectively are retrieved; one from the literature text, consisting of alloy composition, processing conditions, characterization methods, and reported properties, and other from the literature tables, consisting of property names, values, and units. The pipeline enhances materials-domain sensitivity through prompt engineering and retrieval-augmented generation and achieves F1-scores of 0.83 for textual extraction and 0.88 for tabular extraction, surpassing or matching existing approaches. Application of the pipeline to over 10,000 articles yields the largest publicly available multicomponent alloy database and reveals compositional and processing-property trends. The database is further employed for sustainability-aware materials selection in three application domains, i.e., lightweighting, soft magnetic, and corrosion-resistant, identifying multicomponent alloy candidates with more sustainable production while maintaining or exceeding benchmark performance. The pipeline developed can be easily generalized to other class of materials, and assist in development of comprehensive, accurate and usable databases for sustainable materials design.

연구 동기 및 목표

• 지속 가능한 재료 설계를 위해 비구조화된 문헌을 구조화된, 기계 읽기 가능한 데이터로 변환할 필요성을 제시한다.
• 다양한 합금 보고 방식에 걸친 텍스트와 표 데이터를 다룰 수 있는 강력하고 일반화 가능한 데이터 추출 파이프라인을 LLM으로 개발한다.
• 텍스트와 표로부터 두 개의 포괄적 데이터베이스를 만들어 지속 가능성에 기반한 재료 선택을 가능하게 한다.
• HEA 및 그 밖의 영역에서의 더 넓은 연구를 지원하기 위해 큐레이션된 데이터베이스를 공개적으로 배포한다.

제안 방법

• 두 단계 추출 파이프라인: (i) 합금 시스템, 가공, 특성화 및 특성 파악을 위한 문단 수준 텍스트 추출; (ii) 표 기반 추출을 통해 특성 값, 단위 및 조건을 포착.
• Query Set 1 (QS1) 은 프롬프트 설계, 소수 예시 데모, Retrieval-Augmented Generation (RAG)을 사용하여 초록 및 실험 섹션에서 합금 조성, 가공 및 특성을 식별.
• Query Set 2 (QS2) 는 표 셀을 354 항목의 큐레이션된 마스터 특성 어휘로 매핑하며, 먼저 표준화된 속성 이름을 식별한 다음 해당 값과 조건을 추출하기 위해 두 차례의 LLM 접근 방식을 사용.
• 마스터 특성 어휘는 DB1에서 정규화와 확장된 기호/이름 집합으로 구성되어 표 매핑을 견고하게 가능하게 한다.
• 평가에서는 누락, 망상, 신규 항목을 고려한 확장된 오차행렬 프레임워크를 사용하여 정밀도/재현율/F1의 절충을 강조한다.
• 파이프라인은 비용/정확도 균형을 위해 GPT-4o 및 GPT-4o mini를 선택하고, 벡터 데이터베이스에 포함된 98개의 전문가 주석 예제와 함께 RAG를 적용하여 소수의 샘플 데모를 수행한다.

Figure 1: Overall LLM-based alloy data extraction pipeline developed in this work. Starting from list of article DOIs, different sections of the article were separately extracted in XML format using publisher APIs. This data was selectively passed through two LLM extractor consisting of two query se

실험 결과

연구 질문

• RQ1 대규모 HEA 문헌 말뭉치에서 텍스트와 표 모두에서 합금 조성, 가공 세부사항, 특성을 LLM 기반 파이프라인으로 정확하게 추출할 수 있는가?
• RQ2 텍스트(QS1) 및 표(QS2) 추출의 정밀도, 재현율, F1은 전문가 벤치마크와 비교하여 무엇인가?
• RQ3 생성된 데이터베이스의 규모와 활용 가능성은 어느 정도이며, 여러 도메인에서 지속 가능성 인식 재료 선택에 정보를 제공할 수 있는가?
• RQ4 다성분 합금에 대한 LLM 기반 추출의 실제적 도전 과제와 한계는 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

• 두 개의 데이터베이스가 만들어졌다: 10,829편의 문헌에서 추출된 37,711건의 텍스트 파생 합금 기록(DB1)과 148,069건의 표 파생 기록(DB2).
• QS1은 전문가 주석 검토 데이터에서 F1 점수 약 0.83을 달성했다.
• QS2는 광범위한 테스트 세트에서 F1 약 0.88, 기계적 특성 중심 세트에서 0.96의 F1을 달성했다.
• 리뷰 데이터에 대한 텍스트 추출 정밀도/재현율은 각각 QS1에서 0.81 및 0.86이었고, 표 추출 정밀도/재현율은 각각 0.98 및 0.81이었다.
• 구성된 데이터베이스는 경량 구조재, 소자성 자성, 부식 저항 도메인에서 지속 가능성 인식 선택을 가능하게 하여 성능을 희생하지 않으면서 다성분 합금의 지속 가능성을 향상시켰다.
• Alloy Tattvasar 플랫폼은 큐레이션된 데이터베이스에 대한 공개 접근을 커뮤니티의 재사용을 위해 제공한다.

Figure 2: a) Schematic of the QS1 prompt structure, comprising system and formatting instructions, domain-specific context, RAG-selected few-shot examples, and user query with the target article paragraph, organized in a chain-of-thought framework. b) QS1 data extraction workflow for a single articl