[논문 리뷰] Less can be more for predicting properties with large language models

Nawaf Alampara, Santiago Miret외 1명|arXiv (Cornell University)|2024. 06. 25.

Machine Learning in Materials Science인용 수 13

한 줄 요약

이 논문은 물질 특성 예측을 위한 텍스트 기반 표현 연구를 위한 벤치마크와 프레임워크인 mattext를 도입하고, 기하학 정보의 추가 및 사전 학습의 확장이 LLM 기반 물질 특성 예측을 항상 개선하지는 않는다는 점을 보인다. 지역성(locality)을 강력한 귀납 바이어스로 확인하고, 현재 텍스트 전용 접근 방식이 결정격자 기하학을 활용하는 데 한계를 드러낸다.

ABSTRACT

Predicting properties from coordinate-category data -- sets of vectors paired with categorical information -- is fundamental to computational science. In materials science, this challenge manifests as predicting properties like formation energies or elastic moduli from crystal structures comprising atomic positions (vectors) and element types (categorical information). While large language models (LLMs) have increasingly been applied to such tasks, with researchers encoding structural data as text, optimal strategies for achieving reliable predictions remain elusive. Here, we report fundamental limitations in LLM's ability to learn from coordinate information in coordinate-category data. Through systematic experiments using synthetic datasets with tunable coordinate and category contributions, combined with a comprehensive benchmarking framework (MatText) spanning multiple representations and model scales, we find that LLMs consistently fail to capture coordinate information while excelling at category patterns. This geometric blindness persists regardless of model size (up to 70B parameters), dataset scale (up to 2M structures), or text representation strategy. Our findings suggest immediate practical implications: for materials property prediction tasks dominated by structural effects, specialized geometric architectures consistently outperform LLMs by significant margins, as evidenced by a clear "GNN-LM wall" in performance benchmarks. Based on our analysis, we provide concrete guidelines for architecture selection in scientific machine learning, while highlighting the critical importance of understanding model inductive biases when tackling scientific prediction problems.

연구 동기 및 목표

• 재료에 대한 표준화된 텍스트 기반 표현 프레임워크의 필요성을 제시하여 언어 모델의 체계적 벤치마킹을 가능하게 한다.
• mattext 표현 및 결정 구조를 텍스트로 변환하는 제어 가능한 귀납 바이어스를 갖춘 소프트웨어를 개발한다.
• 다양한 표현을 포괄하는 포괄적이고 확장 가능한 데이터셋과 벤치마크를 만들어 LLM을 사용한 물질 특성 예측을 평가한다.
• 다른 표현 방식과 데이터/모델 규모가 예측 성능에 미치는 영향을 분석하고 지역성과 기하 정보의 중요성을 강조한다.
• 현재 텍스트 기반 재료 과학 모델링 접근 방식의 한계에 대한 통찰을 제공하고 더 나은 표현과 벤치마크 방향을 제시한다.

제안 방법

• 고체 상태 물질의 아홉 가지 텍스트 기반 표현을 정의하되 다섯 가지의 새로운 표현을 포함하여 각기 다른 귀납 바이어스를 내재화한다.
• NOMAD에서 사전학습 및 미세조정 데이터를 수집하고 MatBench 규칙에 맞춰 표준 분할(30k, 100k, 300k, 2M; 테스트 세트 20k)을 제공한다.
• 결정 구조를 텍스트로 변환하기 위한 토크나이저, 디코더, 강건성 유틸리티를 갖춘 객체지향 프레임워크로 mattext를 구현한다.
• 물질 특성 예측任务에 대해 mattext 표현에서 인코더 전용 및 디코더 전용 트랜스포머 모델(BERT, Llama-3 등)을 사전학습 및 미세조정한다.
• 표현, 데이터 규모 및 아키텍처 전반에 걸쳐 모델을 평가하여 구성적 정보 대 기하 정보 의존성을 파악한다.
• 구성 및 기하 정보의 기여를 분리하기 위해 물리학에서 영감을 받은 가상의 포텐셜을 사용하고 기하 정보에 대한 모델의 민감도를 탐구한다.

Figure 1: Overview of the \mattext framework. For \mattext , we compile pretraining and fine-tuning data and implement text representations of crystal structures with different inductive biases in a standardized, object-oriented framework. We use the data and text representations to build a property

실험 결과

연구 질문

• RQ1 결정 구조의 서로 다른 텍스트 기반 표현이 언어 모델의 물질 특성 예측에 어떤 영향을 미치는가?
• RQ2 텍스트 표현을 사용할 때 사전학습 데이터나 모델 크기를 늘리면 다운스트림 물질 특성 예측이 향상되는가?
• RQ3 고체의 텍스트 표현에 인코딩된 기하/위치 정보를 LLM이 어느 정도 활용할 수 있는가?
• RQ4 지역성은 물질 특성 예측에서 명시적 기하보다 더 강한 귀납 편향인가?
• RQ5 mattext와 같은 프레임워크가 텍스트 기반 접근 방식의 근본적 한계를 드러내고 더 나은 표현을 가이드할 수 있는가?

주요 결과

• 현재 LLM은 표현 간에 필요한 기하 정보를 포착하는 데 consistently 어려움을 겪는다.
• 사전학습 데이터 또는 모델 크기의 확장이 다운스트림 물질-특성 작업에서 제한적이거나 혼재된 이점을 보인다.
• 지역 환경에 중점을 둔 표현(로컬리티 바이어스)이 기하가 풍부한 표현과 비슷한 성능을 낼 수 있어 모델이 로컬 정보를 더 많이 활용하는 경향을 시사한다.
• 기하 정보가 명시적으로 없거나 적은 표현들(SLICES 등)이 더 정보가 풍부한 표현과 견줄 수 있어, 현재 모델들이 추가 기하 상세 정보를 안정적으로 활용하지 못함을 시사한다.
• 디코더 전용 LLM(Llama-3)의 미세조정은 위치 정보의 유용성을 크게 높이지 못하는 경향이 있으며, 일부 데이터셋에서는 명시적 위치 데이터가 성능을 저해하기도 한다.
• mattext 프레임워크는 텍스트 기반 물질 모델링의 약점을 노출하며, locality 중심의 거칠고 간략한 표현이 유망한 방향으로 보인다.

Figure 2: \mattext -BERT scaling cross-validation scores. We pretrained BERT models with increasing pretraining dataset sizes (indicated in color) and fine-tuned them for material property prediction tasks using different material text representations. The error bars indicate the standard deviation