[논문 리뷰] MathlibLemma: Folklore Lemma Generation and Benchmark for Formal Mathematics

Xinyu Liu, Zixuan Xie외 6명|arXiv (Cornell University)|2026. 01. 30.

Mathematics, Computing, and Information Processing인용 수 0

한 줄 요약

이 논문은 folklore lemmas를 자동으로 발견, 형식화, 증명하는 four-agent LLM 프레임워크인 MathlibLemma를 제시하고, 검증된 1,812개의 증명을 가진 4,028-task MathlibLemma 벤치마크를 소개한다.

ABSTRACT

While the ecosystem of Lean and Mathlib has enjoyed celebrated success in formal mathematical reasoning with the help of large language models (LLMs), the absence of many folklore lemmas in Mathlib remains a persistent barrier that limits Lean's usability as an everyday tool for mathematicians like LaTeX or Maple. To address this, we introduce MathlibLemma, the first LLM-based multi-agent system to automate the discovery and formalization of mathematical folklore lemmas. This framework constitutes our primary contribution, proactively mining the missing connective tissue of mathematics. Its efficacy is demonstrated by the production of a verified library of folklore lemmas, a subset of which has already been formally merged into the latest build of Mathlib, thereby validating the system's real-world utility and alignment with expert standards. Leveraging this pipeline, we further construct the MathlibLemma benchmark, a suite of 4,028 type-checked Lean statements spanning a broad range of mathematical domains. By transforming the role of LLMs from passive consumers to active contributors, this work establishes a constructive methodology for the self-evolution of formal mathematical libraries.

연구 동기 및 목표

• Mathlib에서 누락된 folklore lemmas를 식별하고 형식화하여 형식화 워크플로우의 마지막 마진을 줄인다.
• 구문적으로 유효하고 의미적으로 건전한 Lean 레마를 산출하는 대규모 다중 에이전트 LLM 파이프라인(Discovery, Judge, Formalizer, Prover)을 제안한다.
• LLM 기반의 형식적 추론 시스템을 평가하고 가이드를 제공하기 위해 대형 유형 검사 folklore lemma 벤치마크를 생성한다.
• folklore 증명의 검증된 라이브러리를 제공하고 Mathlib에 부분적으로 업스트림하는 것을 시연하여 실제 활용성을 검증한다.

제안 방법

• Discovery가 Mathlib 시드에서 후보 Lean 진술을 생성하는 네 에이전트 파이프라인.
• Judge가 LLM 기반 판단으로 수학적 정확성을 필터링한다.
• Formalizer가 Lean 서버와 상호 작용하여 구문/타입 오류를 수정하고 컴파일 가능한 진술을 보장한다.
• Prover가 Lean 증명을 생성하고 검증하려 시도하며, 실패는 최대 두 차례의 재수정 루프에서 처리된다; 커널 검증으로 유효성을 보장한다.

Figure 1 : Overview of MathlibLemma . A multi-agent pipeline where the Discovery Agent mines candidates from Mathlib seeds, followed by semantic filtering (Judge), syntactic repair (Formalizer), and proof generation (Prover), yielding a verified library and benchmark.

실험 결과

연구 질문

• RQ1 자동화된 파이프라인이 기존 라이브러리 시드 맥락에서 누락된 folklore lemmas를 안정적으로 발견할 수 있는가?
• RQ2 LLMs가 Folklore lemmas를 Lean/Mathlib에서 필터링, 형식화 및 증명하는 능력이 환각을 최소화하면서 얼마나 잘 수행되는가?
• RQ3 현재 프로버 하에서 대규모 folklore lemma 벤치마크의 해법성 및 품질은 어떠한가?
• RQ4 생성된 folklore 증명을 Mathlib에 얼마나 많이 업스트림하고 인간 수학자에 의해 수용될 수 있는가?

주요 결과

모델	Foundational	Applied	Abstract	Total
GPT	19.81	17.47	21.30	19.81
GPT-Reasoning	22.32	19.67	23.98	22.32
Kimina	14.37	12.12	15.28	14.37
Goedel	21.18	29.63	15.54	12.96
DeepSeek32B	7.05	11.11	3.60	3.89
DeepSeek70B	6.73	10.95	3.60	2.96
Qwen	2.81	2.05	2.99	3.89
Union (All Models)	44.99	50.86	37.14	50.86

• 4,028개의 형식 검증된 Lean 진술의 벤치마크가 형성되었으며 Foundational, Applied, Abstract 도메인을 아우른다.
• 샘플링된 풀이되지 않은 사례의 78%가 인간에 의해 증명 가능하다는 엄격한 감사 결과가 관찰되어 진술의 높은 내재적 타당성을 시사한다.
• 최첨단 모델들이 벤치마크의 44.99%를 종합적으로 해결했으며(성공@2), 어떤 단일 모델보다도 다양한 혜택을 제공한다.
• 전문화 Goedel Prover는 Foundational에서 29.63%를 달성하지만 Abstract에서 12.96%로 떨어져 일반-전문 간의 trade-off를 강조한다.
• 다양한 모델의 앙상블은 큰 이득을 가져와 Union 성능이 최고 개별 모델보다 크게 앞서는 경향을 보이며(44.99% vs 22.32%),
• 1,812개의 증명이 생성 및 검증되었고 3개의 lemmas가 Mathlib에 업스트리밍되어 실제 활용성을 입증한다.

Figure 2 : MathlibLemma taxonomy and composition. The benchmark is partitioned into three distinct domains (inner ring): Foundational , Applied , and Abstract . The outer ring shows topic areas used to source seed contexts, with representative examples in parentheses.