[논문 리뷰] STEMVerse: A Dual-Axis Diagnostic Framework for STEM Reasoning in Large Language Models

Xuzhao Li, Xuchen Li외 2명|arXiv (Cornell University)|2026. 01. 14.

Topic Modeling인용 수 0

한 줄 요약

STEMVerse는 LLMs를 위한 STEM 평가를 재정의하며 문제를 학문 세부 전문분야와 Bloom의 인지 수준의 2차원 공간에 매핑하여, 집계 정확도를 넘는 추론 능력의 미세한 진단 분석을 가능하게 한다.

ABSTRACT

As Large Language Models (LLMs) achieve significant breakthroughs in complex reasoning tasks, evaluating their proficiency in science, technology, engineering, and mathematics (STEM) has become a primary method for measuring machine intelligence. However, current evaluation paradigms often treat benchmarks as isolated "silos," offering only monolithic aggregate scores that neglect the intricacies of both academic specialization and cognitive depth. This result-oriented approach fails to distinguish whether model errors stem from insufficient domain knowledge or deficiencies in cognitive capacity, thereby limiting the diagnostic value. To address this, we propose STEMVerse, a diagnostic framework designed to systematically analyze the STEM reasoning capabilities of LLMs. This framework characterizes model performance across academic specialization and cognitive complexity to map the capability required for reasoning. We re-aggregate over 20,000 STEM problems from mainstream benchmarks into a unified "Discipline $ imes$ Cognition" capability space, assigning dual-axis labels to every instance. Utilizing this unified diagnostic framework, we systematically evaluate representative LLM families across varying parameter scales and training paradigms. Our empirical results reveal structural failure patterns in STEM reasoning. By integrating multi-disciplinary coverage and fine-grained cognitive stratification into a unified framework, STEMVerse provides a clear and actionable perspective for understanding the scientific reasoning characteristics of LLMs.

연구 동기 및 목표

• 단일 지표 점수로 나뉘어진 벤치마크들로 STEM 평가가 사일로화되어 있는 문제를 해결한다.
• 학문 하위 분야와 Bloom의 분류를 결합한 이축 역량 매트릭스를 도입한다.
• 여러 벤치마크로부터 20,374개의 STEM 문제를 하나의 통합된 분야 × 인지 공간으로 재집계한다.
• 스케일에 따라 오픈 소스 LLM 계열을 평가하여 구조적 인지 병목 및 비선형 성장 패턴을 식별한다.

제안 방법

• 네 가지 STEM 기둥(Math, Physics, Chemistry, Biology)으로의 교차 벤치마크 데이터 재집계와 세밀한 하위 분야 구분.
• 두 축(학문적 전문화와 Bloom의 인지 수준)에 대한 문제 주석화.
• 레이블링을 위한 GPT-4o와 신뢰성 확보를 위한 전문가의 수작업 감사를 결합한 하이브리드 주석 파이프라인(IAA 0.87–0.92).
• 학문 분야별 및 인지 계층별로 모델 정확도를 매핑하는 이축 역량 매트릭스의 구축.
• 평가 중 소수 예시 프롬프트 프로토콜을 적용해 모델 간 비교 가능성을 보장하고; 매트릭스 내에서 로컬 진단 지표로 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 Bloom의 인지 수준에 따라 세밀한 학문 하위 분야에서 LLM의 성능은 어떻게 나타나는가?
• RQ2 전통적 단일 점수 벤치마크가 STEM 추론에서 지식 대 추론의 결함을 숨기고 있는가?
• RQ3 학문 × 인지 스펙트럼을 따라 STEM 추론에 대한 스케일링과 훈련 효과는 어떠한가?
• RQ4 모델 계열 전반에서 높은 차원의 STEM 추론에 구조적 병목(예: 논리-기호 붕괴)이 존재하는가?
• RQ5 크기와 학습 패러다임이 다른 오픈소스 모델이 STEMVerse 공간에서 능력을 어떻게 분포시키는가?

주요 결과

• 이축 시각은 능력의 비선형적 변화를 보여주며, 집계 점수가 분야별 및 인지별 특정 격차를 가린다.
• 학문 수준 결과는 사일로화된 지식 패턴을 보이며; 14B 미만의 모델은 Physical Chemistry에서 38.0%를 넘지 못하고, Qwen3-14B-Instruct는 Analytical Chemistry에서 32.5%, Neuroscience and Psychology에서 58.3%를 달성한다.
• 인지 결과는 Understand 수준에서 최고 성능이 나타나나 Biology, Physics, Chemistry에서 Apply에서 하락하며, 기호가 많은 분야에서 상위 수준 과제로 이동할 때 현저한 논리-기호 붕괴가 발생한다.
• 매개변수 스케일링은 비선형 이득을 낳으며; Remember 계층은 Qwen3에서 점프당 대략 +10%로 증가하지만 Understand는 임계 효과를 보인다(예: 8B→14B에서 약 60%에서 90%로).
• 지시 미세조정은 복잡한 추론 경로를 줄이고 조작 가능성을 높이지만 수학 하위 분야의 고차 기호 추론을 저하시킬 수 있다.
• 이 프레임워크는 고차 과학적 추론을 위한 훈련 패러다임의 구조적 결함을 드러내며, 분야와 규모에 걸친 비선형 성장 패턴을 강조한다.