[논문 리뷰] Teaching and Evaluating LLMs to Reason About Polymer Design Related Tasks

Dikshya Mohanty, Mohammad Saqib Hasan외 4명|arXiv (Cornell University)|2026. 01. 22.

Machine Learning in Materials Science인용 수 0

한 줄 요약

PolyBench은 지식 보강 추론 흔적을 가진 대규모 고분자 디자인 벤치마크입니다; PolyBench에서 소형 LM(7B-14B)을 미세조정하면 강력한 성능을 얻어 PolyBench 및 외부 고분자 벤치마크에서 여러 기반모델을 능가합니다.

ABSTRACT

Research in AI4Science has shown promise in many science applications, including polymer design. However, current LLMs prove ineffective on this problem space because: (i) most models lack polymer-specific knowledge (ii) existing aligned models lack coverage of knowledge and capabilities relevant to polymer design. Addressing this, we introduce PolyBench, a large scale training and test benchmark dataset of more than 125K polymer design related tasks, leveraging a knowledge base of 13M+ data points obtained from experimental and synthetic sources to ensure broad coverage of polymers and their properties. For effective alignment using PolyBench, we introduce a knowledge-augmented reasoning distillation method that augments this dataset with structured CoT. Furthermore, tasks in PolyBench are organized from simple to complex analytical reasoning problems, enabling generalization tests and diagnostic probes across the problem space. Experiments show that small language models (SLMs), of 7B to 14B parameters, trained on PolyBench data outperform similar sized models, and even closed source frontier LLMs on PolyBench test dataset while demonstrating gains on other polymer benchmarks as well.

연구 동기 및 목표

• 실험 데이터에 기반한 대규모의-ground-truth 고분자 디자인 작업 벤치마크를 생성한다.
• 기초적인 것에서 엔드투엔드 디자인까지의 과제를 조직하여 다목적 추론과 일반화를 테스트한다.
• 신뢰할 수 있는 추론 흔적 생성을 위한 지식 보강 디스틸레이션 파이프라인을 개발한다.
• 오픈 소스 및 최전선 LLM을 평가하여 격차를 식별하고 PolyBench 학습으로의 개선을 평가한다.
• 모델 추론에서 기술 격차와 구성성 분 gaps를 구분하기 위한 진단 제공

제안 방법

• 실험 데이터와 RDKit 유래 데이터를 사용하여 125k개가 넘는 고분자 디자인 과제들로 PolyBench를 구축한다.
• 구조 이해에서 합성/디자인에 이르는 여섯 카테고리로 과제를 구성한다.
• 주제 전문가(SME) 정보를 반영한 프롬프트와 구조화된 CoT를 활용한 지식 보강 디스틸레이션을 통해 추론 흔적을 확보한다.
• 추론 흔적의 품질을 보장하기 위해 자동화된 검사와 사람에 의한 검증을 수행한다.
• PolyBench train/dev에서 QLoRA로 7B-14B 모델을 미세조정하고 기준모델 및 외부 벤치마크와 비교 평가한다.
• 작업 전반에 걸친 성능에 대한 Chain-of-Thought(CoT)의 영향을 평가하고 오류 진단을 수행한다.

Figure 1: Example from PolyBench with sub-tasks. The central prompt requires jointly satisfying multiple constraints (highlighted in green), spanning reaction/synthesis feasibility , property targets , and functional/structural constraints . SubQuestions (SubQ) shows with associated skill tags (e.g.

실험 결과

연구 질문

• RQ1 PolyBench가 기준 모델과 비교하여 고분자 설계 과제에서 LLM의 성능을 향상시킬 수 있는가?
• RQ2 구조화된 CoT를 통한 지식 보강 디스틸레이션이 추론 흔적과 최종 답변을 향상시키는가?
• RQ3 PolyBench로 학습된 모델이 보지 못한 고분자 및 외부 벤치마크에 얼마나 잘 일반화하는가?
• RQ4 고분자 설계 추론의 구성성 차이는 무엇이며 PolyBench 진단이 이를 드러낼 수 있는가?
• RQ5 다목적 고분자 설계 과제에서 CoT의 영향은 무엇이며 직접 패턴 매칭과 비교했을 때 어떻게 다른가?

주요 결과

• PolyBench로 학습된 모델은 PolyBench 테스트 세트의 모든 과제에서 유사 규모의 기준 모델을 능가한다.
• PolyBench 학습 중 CoT 추가는 대형 모델에서 평균 약 11%의 개선을 제공한다.
• 도메인 정렬 화학 LLM은 고분자 설계 과제에서 성능이 떨어져 고분자 특화 감독의 필요성을 강조한다.
• PolyBench 모델은 외부 벤치마크에서도 강한 성능을 보이며 종종 일반 모델을 능가하고 비공개 프런티어 모델에 근접한다.
• 인간 평가에 의하면 지식 보강 CoT 흔적은 교사 CoT보다 더 완전하고 정확하며 관련성이 높아 흔적 품질을 입증한다.
• 진단 도구 모음은 구성성 격차를 드러내는데, 모델이 하위 답은 기억해도 제약 하에 이를 조합하는 데 어려움을 보인다.

Figure 2: PolyData Creation Pipeline . We aggregate data from open-source databases covering $13$ m polymers, standardize notations and properties based on SMEs’ inputs, and augment with RDKit -computed features. The data is split into train/dev/test sets with non-overlapping polymers to ensure out-