[논문 리뷰] Extracting Mathematical Concepts with Large Language Models

Valeria de Paiva, Qiyue Gao외 2명|arXiv (Cornell University)|2023. 08. 29.

Mathematics, Computing, and Information ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 대량의 언어 모델(Large Language Models, LLMs)인 ChatGPT를 사용하여 범주 이론 텍스트에서 수학적 개념을 추출하는 파이프라인을 제안한다. 인간의 주석 지침과 LLM 프롬프팅을 결합하여 정확도를 향상시킨다. 비록 LLMs가 초보적 용어 추출에서 잠재력을 보이고 있지만, 현재로선 인간 전문가 수준에 도달하지 못하며, 특히 암시적 또는 맥락에 기반한 수학적 개념을 식별하는 데서 뚜렷한 한계를 보인다.

ABSTRACT

We extract mathematical concepts from mathematical text using generative large language models (LLMs) like ChatGPT, contributing to the field of automatic term extraction (ATE) and mathematical text processing, and also to the study of LLMs themselves. Our work builds on that of others in that we aim for automatic extraction of terms (keywords) in one mathematical field, category theory, using as a corpus the 755 abstracts from a snapshot of the online journal "Theory and Applications of Categories", circa 2020. Where our study diverges from previous work is in (1) providing a more thorough analysis of what makes mathematical term extraction a difficult problem to begin with; (2) paying close attention to inter-annotator disagreements; (3) providing a set of guidelines which both human and machine annotators could use to standardize the extraction process; (4) introducing a new annotation tool to help humans with ATE, applicable to any mathematical field and even beyond mathematics; (5) using prompts to ChatGPT as part of the extraction process, and proposing best practices for such prompts; and (6) raising the question of whether ChatGPT could be used as an annotator on the same level as human experts. Our overall findings are that the matter of mathematical ATE is an interesting field which can benefit from participation by LLMs, but LLMs themselves cannot at this time surpass human performance on it.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)이 학술 텍스트, 특히 범주 이론에서 수학적 개념을 효과적으로 추출할 수 있는지 조사하는 것.
• 일반적인 자연어 처리(NLP) 도메인과는 상당히 다름으로써 전문 용어와 구조적 관례를 갖는 수학적 텍스트에서의 자동 용어 추출(Automatic Term Extraction, ATE) 도전 과제를 해결하는 것.
• 인간 및 LLM 주석자 간의 일관성을 향상시키고 상호 주석자 간 불일치를 줄이기 위해 표준화된 주석 지침을 개발하는 것.
• ChatGPT의 성능을 인간 전문가와 비교하여 핵심 수학적 용어를 식별하는 데서의 신뢰성과 한계를 평가하는 것.
• LLM이 추출한 용어와 인간의 검증 및 피드백을 융합하여 공동체 기반의 상호작용 가능한 지식 그래프를 구축하는 것.

제안 방법

• 주로 2020년경의 저널 *Theory and Applications of Categories*의 755개 초록을 데이터 코퍼스로 구성하여 용어 추출의 주요 자료로 활용.
• 수학적 용어 식별을 표준화하기 위해 세부적인 주석 지침 세트를 개발하였으며, 다단어 표현이나 암시적 개념과 같은 경계 사례도 포함.
• 수학적 및 비수학적 도메인 전반에서 적용 가능한 인간 주석자 지원을 위한 맞춤형 주석 도구를 설계.
• 일관된 프롬프트 템플릿을 사용하여 동일한 코퍼스에서 ChatGPT를 활용해 수학적 용어를 추출하는 데 구조적 프롬프팅 기법을 적용.
• 세 가지 실험을 실시: (1) 인간 전용 주석, (2) LLM 전용 추출, (3) nLab 웹사이트의 55,000개 문장에서의 LLM 추출 및 공동체 피드백 통합.
• 인간 전문가 간의 상호 주석자 일치도를 측정하기 위해 자카르 지수(Jaccard index)를 사용하였으며, LLM 출력 결과를 인간 주석 기준(골드 스탠다드)과 비교.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 대규모 언어 모델(LLMs)이 인간 전문가에 비해 범주 이론 텍스트에서 수학적 개념을 얼마나 정확하게 추출할 수 있는가?
• RQ2 암시적 또는 맥락에 기반한 용어와 같은 경우에 자동 수학적 용어 추출에서의 주요 과제는 무엇인가?
• RQ3 주석 지침과 도구는 수학적 ATE에서 인간 주석자 간의 일관성을 향상시키고 불일치를 줄이는 데 어떻게 기여할 수 있는가?
• RQ4 LLMs는 신뢰할 수 있는 초보적 주석자로 기능할 수 있는가, 아니면 광범위한 후처리 및 인간 검증이 반드시 필요한가?
• RQ5 공동체 피드백은 지식 그래프 구축을 위한 LLM이 추출한 수학적 개념을 정련하고 검증하는 데 어떤 역할을 할 수 있는가?

주요 결과

• ChatGPT는 수학적 용어 추출에서 만족스러운 初기 결과를 도출할 수 있지만, 인간 전문가가 인식할 수 있는 중요한 암시적 개념들, 예를 들어 'non-Artinian rings' 같은 용어는 식별하지 못한다.
• 현재 모델들은 'conjecture'(추측)나 'even'(짝수) 같은 비수학적 용어를 수학적 개념으로 잘못 추출하는 경우가 자주 발생하여, 현재 모델들이 의미적 구분 능력을 갖추지 못하고 있음을 시사한다.
• 세부 지침이 제공됨에도 불구하고 인간 전문가 간의 상호 주석자 일치도는 낮았으며, 이는 특히 복잡하거나 다단어 표현에서 수학적 용어의 경계를 명확히 정의하는 데 어려움이 있음을 보여준다.
• 인간 주석자 간 상호 일치도에 대해 자카르 지수를 측정하여 향후 수학적 ATE 연구의 정량적 기준을 마련하였다.
• 이 연구는 LLMs가 공동체 피드백과 검증을 통합할 경우, 특히 초기 추출 도구로 효과적으로 활용될 수 있음을 입증하였다.
• 저자들은 55,000개의 nLab 문장에서 ChatGPT가 추출한 용어를 기반으로, 지속적인 사용자 승인/반려 메커니즘을 갖춘 공동체가 관리하는 지식 그래프의 초석으로 활용할 것을 제안한다.