[논문 리뷰] BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

Yiyuan Jia, Xiaoqin Fu외 1명|arXiv (Cornell University)|2026. 02. 18.

BIM and Construction Integration인용 수 0

한 줄 요약

BEMEval-Doc2Schema를 도입하여 건물 에너지 모델링(BEM)에서 구조화된 데이터 추출에 대한 LLM 평가를 위한 벤치마크를 제시하고, 새로운 KVOR 메트릭과 모델 간 비교를 포함합니다.

ABSTRACT

Recent advances in foundation models, including large language models (LLMs), have created new opportunities to automate building energy modeling (BEM). However, systematic evaluation has remained challenging due to the absence of publicly available, task-specific datasets and standardized performance metrics. We present BEMEval, a benchmark framework designed to assess foundation models' performance across BEM tasks. The first benchmark in this suite, BEMEval-Doc2Schema, focuses on structured data extraction from building documentation, a foundational step toward automated BEM processes. BEMEval-Doc2Schema introduces the Key-Value Overlap Rate (KVOR), a metric that quantifies the alignment between LLM-generated structured outputs and ground-truth schema references. Using this framework, we evaluate two leading models (GPT-5 and Gemini 2.5) under zero-shot and few-shot prompting strategies across three datasets: HERS L100, NREL iUnit, and NIST NZERTF. Results show that Gemini 2.5 consistently outperforms GPT-5, and that few-shot prompts improve accuracy for both models. Performance also varies by schema: the EPC schema yields significantly higher KVOR scores than HPXML, reflecting its simpler and reduced hierarchical depth. By combining curated datasets, reproducible metrics, and cross-model comparisons, BEMEval-Doc2Schema establishes the first community-driven benchmark for evaluating LLMs in performing building energy modeling tasks, laying the groundwork for future research on AI-assisted BEM workflows.

연구 동기 및 목표

• 기초 모델을 통해 자동화된 Building Energy Modeling (BEM)을 동기부여하고 평가 격차를 강조합니다.
• BEMEval를 BEM에서의 과제별 평가를 위한 벤치마크 프레임워크로 제안합니다.
• 건물 문서로부터의 구조화된 데이터 추출에 초점을 맞춘 BEMEval-Doc2Schema를 소개합니다.

제안 방법

• LLM 출력과 실제 스키마 간의 정렬 정도를 측정하기 위해 Key-Value Overlap Rate (KVOR) 메트릭을 정의합니다.
• 제로샷 및 파샷 프롬프트 하에서 두 개의 선도 LLM(GPT-5와 Gemini 2.5)을 평가합니다.
• 세 가지 데이터셋(HERS L100, NREL iUnit, NIST NZERTF)을 사용하여 스키마 전반의 성능을 평가합니다.
• 스키마 간 성능 비교, 더 깊은 계층 구조가 KVOR에 영향을 미친다는 점을 주목합니다(예: EPC vs HPXML).
• 정제된 데이터셋과 교차 모델 비교를 포함한 재현 가능한 벤치마크 설정을 제공합니다.

실험 결과

연구 질문

• RQ1 LLM이 제로샷 및 파샷 프롬프트를 사용하여 건물 문서에서 구조화된 데이터를 정확하게 추출할 수 있는가?
• RQ2 KVOR은 생성된 산출물과 실제 스키마 간의 정렬을 어떻게 반영하는가?
• RQ3 모델 선택(GPT-5 대 Gemini 2.5)과 데이터셋/스키마 복잡도가 추출 성능에 어떤 영향을 미치는가?
• RQ4 스키마 설계(EPC 대 HPXML)가 KVOR로 측정된 추출 난이도에 영향을 미치는가?

주요 결과

• Gemini 2.5가 KVOR 기반 평가에서 일관되게 GPT-5를 능가합니다.
• 두 모델 모두 파샷 프롬프트가 추출 정확도를 향상시킵니다.
• 더 간단하고 얕은 계층 구조로 인해 EPC 스키마가 HPXML보다 더 높은 KVOR 점수를 얻습니다.
• BEMEval-Doc2Schema는 BEM 작업에서 LLM 평가를 위한 커뮤니티 주도적이고 재현 가능한 벤치마크임을 보여줍니다.