[논문 리뷰] EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages

Aman Sharma, Paras Chopra|arXiv (Cornell University)|2026. 03. 10.

Machine Learning in Materials Science인용 수 0

한 줄 요약

EsoLang-Bench는 LLM의 진정한 추론을 테스트하기 위한 다섯 언어의 은어 벤치마크를 도입하고, 표준 벤치마크 성능과 분포 외(out-of-distribution) 은어 태스크 간의 큰 차이가 있음을 보여주며, 고급 프롬프팅 및 에이전트 시스템에서도 마찬가지로 그렇다.

ABSTRACT

Large language models achieve near-ceiling performance on code generation benchmarks, yet these results increasingly reflect memorization rather than genuine reasoning. We introduce EsoLang-Bench, a benchmark using five esoteric programming languages (Brainfuck, Befunge-98, Whitespace, Unlambda, and Shakespeare) that lack benchmark gaming incentives due to their economic irrationality for pre-training. These languages require the same computational primitives as mainstream programming but have 1,000-100,000x fewer public repositories than Python (based on GitHub search counts). We evaluate five frontier models across five prompting strategies and find a dramatic capability gap: models achieving 85-95% on standard benchmarks score only 0-11% on equivalent esoteric tasks, with 0% accuracy beyond the Easy tier. Few-shot learning and self-reflection fail to improve performance, suggesting these techniques exploit training priors rather than enabling genuine learning. EsoLang-Bench provides the first benchmark designed to mimic human learning by acquiring new languages through documentation, interpreter feedback, and iterative experimentation, measuring transferable reasoning skills resistant to data contamination.

연구 동기 및 목표

• 배경 데이터가 거의 없는 언어를 사용해 벤치마크 게임화를 방지하고 진정한 추론 평가를 촉진하기 위한 동기를 제공한다.
• 다섯 가지 은어로 구현된 네 가지 난이도에서 80문제의 데이터셋을 제공한다.
• 프롬프트 전략과 에이전트적 도구 사용이 분포 외(OOD) 추론 성능에 미치는 영향을 평가한다.
• 현재 최전선 모델의 근본적 제한을 이해하기 위해 컴파일, 런타임, 로직 오류 모드를 분석한다.

제안 방법

• Brainfuck, Befunge-98, Whitespace, Unlambda, Shakespeare로 구현된 Easy, Medium, Hard, Extra-Hard 수준의 80문제를 포함하는 EsoLang-Bench를 생성한다.
• 다섯 가지 프롬프트 전략(Zero-Shot, Few-Shot, Self-Scaffolding, Textual Self-Scaffolding, ReAct) 하에서 다섯 개의 최전선 모델을 평가한다.
• 인터프리터 피드백 루프를 갖춘 Codex, Claude Code와 같은 에이전트 시스템이 OOD 태스크에서 도구 사용의 영향을 연구하게 한다.
• 문제당 6개의 테스트 케이스와 부트스트랩 통계(세 개의 시드; 95% 신뢰구간)를 이용한 자동화된 인터프리터 기반 검증을 사용한다.
• 컴파일, 런타임, 로직 오류를 범주화해 오류를 분석하고 핵심 병목 현상을 식별한다.

실험 결과

연구 질문

• RQ1 LLM이 사전 학습 데이터 노출이 최소화된 상태에서 은어 언어로의 계산적 추론 전이를 할 수 있는가?
• RQ2 ICL(맥락 내 학습)과 고급 프롬프트가 분포 외(OOD) 은어 언어 성능을 향상시키는가, 아니면 사전 학습 커버리지가 한계 요인인가?
• RQ3 인터프리터 및 피드백 루프를 갖춘 에이전트 시스템이 이러한 OOD 태스크에서 비에이전트 대비 더 높은 성능을 보이는가?
• RQ4 은어 언어 문제를 해결할 때 주된 오류 모드는 컴파일/런타임/로직 중 무엇이며, 이것이 모델의 한계에 대해 무엇을 드러내는가?

주요 결과

• 전면적(frontier) 모델은 큰 성능 격차를 보인다: 표준 벤치마크에서의 높은 성능이 은어 언어 태스크로 바로 이어지지 않는다(은어 태스크 평균 정확도 0–11%).
• 모든 모델이 설정에 따라 Medium, Hard, Extra-Hard 은어 문제에서 0%를 기록하며, Easy 계열 문제에서만 어느 정도 성공을 보인다.
• Self-scaffolding은 비에이전트적 프롬팅에서 가장 나은 결과를 제공하며, 일부 언어/전략 조합에서 최대 약 11.2% 정확도까지 도달하지만 Python 성능에는 미치지 못한다.
• Few-shot 프롬프팅은 이 초저자원 환경에서 미미한 향상을 보이며, ICL의 효과가 사전 학습 데이터 커버리지에 달려 있다는 가설을 뒷받침한다.
• 인터프리터 접근이 가능한 에이전트 시스템은 비에이전트 대비 2–3배의 성능 향상을 제공하지만, 여전히 주류 언어와의 격차가 크다.
• 오류 분석에서 다수의 언어에서 컴파일 오류가 지배적이며, 구문이 습득된 곳에서 의미론적(로직) 오류가 만연하고 Whitespace와 Unlambda와 같이 데이터가 가장 부족한 언어에서는 거의 컴파일 실패가 나타난다.