[논문 리뷰] Are LLMs Ready for Real-World Materials Discovery?

Santiago Miret, N. M. Anoop Krishnan|arXiv (Cornell University)|2024. 02. 07.

Machine Learning in Materials Science인용 수 20

한 줄 요약

현실 세계의 재료 발견을 위한 데이터가 풍부한 다중 모달 로드맷을 갖춘 도메인 지식에 기반한 MatSci-LLMs를 제안하는 재료과학에서의 LLM의 현재 실패를 다루는 입장문.

ABSTRACT

Large Language Models (LLMs) create exciting possibilities for powerful language processing tools to accelerate research in materials science. While LLMs have great potential to accelerate materials understanding and discovery, they currently fall short in being practical materials science tools. In this position paper, we show relevant failure cases of LLMs in materials science that reveal current limitations of LLMs related to comprehending and reasoning over complex, interconnected materials science knowledge. Given those shortcomings, we outline a framework for developing Materials Science LLMs (MatSci-LLMs) that are grounded in materials science knowledge and hypothesis generation followed by hypothesis testing. The path to attaining performant MatSci-LLMs rests in large part on building high-quality, multi-modal datasets sourced from scientific literature where various information extraction challenges persist. As such, we describe key materials science information extraction challenges which need to be overcome in order to build large-scale, multi-modal datasets that capture valuable materials science knowledge. Finally, we outline a roadmap for applying future MatSci-LLMs for real-world materials discovery via: 1. Automated Knowledge Base Generation; 2. Automated In-Silico Material Design; and 3. MatSci-LLM Integrated Self-Driving Materials Laboratories.

연구 동기 및 목표

• 재료과학 기반 LLM(MatSci-LLMs)의 필요성을 정의하고 현재 한계를 식별한다.
• 도메인 지식의 근거와 해석 가능한 가설 생성을 포함한 MatSci-LLMs의 핵심 요건을 제안한다.
• 다중 모달 재료과학 정보 추출을 위한 데이터 및 데이터셋의 도전과제를 강조한다.
• 재료과학에서 자동 지식 기반 생성, 인실리코 설계, 자율 실험실을 위한 로드맵을 개요한다.

제안 방법

• 재료과학에서 LLM의 실패 사례를 검토하여 추론 및 근거 제약의 격차를 확인한다.
• 도메인 지식과 연구자 보강에 기반한 MatSci-LLMs의 요건을 명확히 한다.
• 텍스트, 표, 그림, CIF 파일 및 기타 형식을 포함한 다중 모달 데이터 추출의 도전과제를 논의한다.
• 재료과학 문헌의 데이터 수집, 주석 달기 및 데이터셋 구축의 도전과제를 설명한다.
• 지식 기반 생성, 인 실리코 설계, 자율 실험에서의 MatSci-LLMs에 대한 실용적인 로드맵과 가능한 인터페이스를 제안한다.

Figure 1: Overview of MatSci-LLM requirements related to knowledge acquisition and science acceleration. MatSci-LLMs require knowledge contained across multiple documents along multiple data modalities. Pertinent materials science knowledge includes understanding materials structure, properties and

실험 결과

연구 질문

• RQ1 재료과학 지식과 추론에 적용될 때 현재 LLM의 주요 한계는 무엇인가?
• RQ2 가설 생성과 실험에서 재료 과학자를 효과적으로 돕기 위해 MatSci-LLMs가 충족해야 할 요건은 무엇인가?
• RQ3 대규모 MatSci-LLMs를 구축하기 위해 다루어야 할 데이터 모달리티와 추출 도전과제는 무엇인가?
• RQ4 자동화된 지식 기반, 인실리코 설계, 자율 실험실을 포함한 엔드투엔드 워크플로우에 MatSci-LLMs를 어떻게 통합할 수 있는가?
• RQ5 현실 세계의 재료 발견에서 MatSci-LLMs를 배치하기 위한 실행 가능한 로드맵은 무엇인가?

주요 결과

• LLMs는 도메인 특유의 추론, 수치적 기초 근거 및 재료 구조와 표기법의 올바른 해석에 어려움을 겪는다.
• 현재의 재료과학 데이터는 매우 다중 모달이고 맥락에 의존적이며, 표, 그림, CIF 파일 및 관련 문헌에서 중요한 정보가 있다.
• 유료벽, 구식 문헌, 기계가 읽을 수 없는 형식을 포함한 데이터 접근 및 주석 달기 문제로 MatSci-LLMs의 학습이 방해된다.
• 도메인 특유의 언어와 표기법으로 LLM을 근거화하는 것은 필수적이지만, 이 분야의 다양성과 표준 표기법의 부재로 인해 간단하지 않다.
• 성공적인 MatSci-LLM은 지식 기반, 인실리코 설계, 자율 실험 실행을 연결하는 통합 워크플로우를 필요로 한다.

Figure 2: Roadmap of a Mat-Sci LLM based materials discovery cycle. The cycle starts with materials query from a researcher that specifies desired properties or an application. The MatSci-LLM then draws from external and internal knowledge bases to generate a materials design hypothesis which is eva