[논문 리뷰] A Prompt-Engineered Large Language Model, Deep Learning Workflow for Materials Classification

Siyu Liu, Tongqi Wen외 2명|arXiv (Cornell University)|2024. 01. 31.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Model, LLM)을 활용한 프롬프트 기반의 새로운 딥러닝 워크플로우를 제안하며, LLM에서 유도된 텍스트 지식 정제를 통해 재료 분류 정확도를 향상시킨다. 프롬프트 엔지니어링을 통해 합성 텍스트 데이터를 생성하고 BERT 모델을 미세조정한 결과, 전통적인 모델 대비 희소한 금속 유리 분류 작업에서 최대 463% 높은 정확도를 달성했으며, 전체적으로 97.7%의 정확도를 기록했다.

ABSTRACT

Large language models (LLMs) have demonstrated rapid progress across a wide array of domains. Owing to the very large number of parameters and training data in LLMs, these models inherently encompass an expansive and comprehensive materials knowledge database, far exceeding the capabilities of individual researcher. Nonetheless, devising methods to harness the knowledge embedded within LLMs for the design and discovery of novel materials remains a formidable challenge. We introduce a general approach for addressing materials classification problems, which incorporates LLMs, prompt engineering, and deep learning. Utilizing a dataset of metallic glasses as a case study, our methodology achieved an improvement of up to 463% in prediction accuracy compared to conventional classification models. These findings underscore the potential of leveraging textual knowledge generated by LLMs for materials especially in the common situation where datasets are sparse, thereby promoting innovation in materials discovery and design.

연구 동기 및 목표

• 금속 유리와 같은 복잡한 시스템에서 실험 데이터가 부족하고 희소한 문제를 해결하기 위해.
• 실험 또는 시뮬레이션 기반 특징에만 의존하지 않고, 대규모 언어 모델(LLM)에서 유도된 텍스트 지식을 활용하는 일반화 가능한 딥러닝 워크플로우를 개발하기 위해.
• LLM에서 생성한 텍스트 데이터를 미세조정된 딥러닝 모델과 통합하여, 특히 자원이 부족한 카테고리의 분류 정확도를 향상시키기 위해.
• 특정 데이터 형식이나 특징 공학에 종속되지 않는 보편적이고 이식 가능한 재료 분류 프레임워크를 구축하기 위해.
• 특히 데이터가 부족한 도메인에서 LLM을 지식 소스로 사용하는 것이 가능하고 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 재료 분류 문제를 정의함으로써 워크플로우가 시작되며, 예를 들어 빌드형, 리본형, 비리본형과 같은 금속 유리 형성 카테고리 식별과 같은 작업이다.
• 프롬프트 엔지니어링을 사용하여 사전 학습된 LLM으로부터 구조적이고 작업에 특화된 지식을 추출하여 재료 조성과 분류를 기술하는 합성 텍스트 데이터를 생성한다.
• 생성된 텍스트 데이터는 토큰화되어 미세조정된 BERT 모델에 입력되며, LLM에서 유도된 텍스트 특징에 기반해 재료를 분류하도록 학습한다.
• 텍스트 입력의 시퀀스 수준 패턴을 더 잘 포착할 수 있도록 위치 임bedding 기법이 적용된다.
• 미세조정된 BERT 모델은 합성 텍스트-라벨 쌍으로 학습되고, 실제 금속 유리 실험 데이터셋으로 평가된다.
• 이 방법은 5,577개의 금속 유리로 구성된 데이터셋에서 검증되었으며, 기존의 기계학습 모델과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 실험 데이터가 희소한 상황에서 LLM이 생성한 텍스트 지식이 재료 과학 분류 정확도를 향상시킬 수 있는가?
• RQ2 프롬프트 엔지니어링이 LLM에서 재료 분류 작업에 활용 가능한 구조적 지식을 효과적으로 추출하는 데 얼마나 유용한가?
• RQ3 합성 LLM 생성 텍스트로 훈련된 미세조정된 BERT 모델이 자원이 부족한 재료 분류 문제에서 기존의 기계학습 모델보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 이 워크플로우는 특별한 재훈련이나 특징 공학 없이 다양한 재료와 분류 목표에 일반화될 수 있는가?
• RQ5 위치 임베딩과 프롬프트 최적화는 재료 텍스트 분류에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 워크플로우는 5,577개의 샘플로 구성된 금속 유리 데이터셋에서 전체 분류 정확도 97.7%를 달성했으며, 기존의 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 전체 데이터셋의 약 11%에 불과한 가장 작은 클래스인 빌드형 금속 유리(BMGs)의 경우, 기존 기계학습 모델 대비 정확도가 463% 향상되었다.
• LLM에서 생성한 텍스트 데이터로 미세조정된 BERT 모델은 전체 분류 작업에서 기준 모델 대비 정확도가 48% 향상되었다.
• 희소하고 불균형한 데이터셋에서도 견고한 성능을 보였으며, 이는 자원이 부족한 재료 발견에 대한 잠재력을 시사한다.
• 프롬프트 엔지니어링된 LLM을 지식 소스로 통합함으로써 수동적인 특징 공학이나 시뮬레이션 데이터 의존 없이도 고품질의 특징 표현이 가능했다.
• 이 워크플로우는 일반화 가능하며, 안정성, 부식 저항성, 옵티오일렉트로닉 성질 등 다양한 재료 분류 문제에 적용 가능하다.