[논문 리뷰] Mathematics, word problems, common sense, and artificial intelligence

Ernest Davis|arXiv (Cornell University)|2023. 01. 23.

Mathematics, Computing, and Information Processing인용 수 8

한 줄 요약

이 논문은 현재 인공지능, 특히 대형 언어 모델이 상식과 세계 지식이 필요한 수학 문제를 푸는 능력과 한계를 분석하고, 접근법, 벤치마크 및 실험 결과를 리뷰한다.

ABSTRACT

The paper discusses the capacities and limitations of current artificial intelligence (AI) technology to solve word problems that combine elementary knowledge with commonsense reasoning. No existing AI systems can solve these reliably. We review three approaches that have been developed, using AI natural language technology: outputting the answer directly, outputting a computer program that solves the problem, and outputting a formalized representation that can be input to an automated theorem verifier. We review some benchmarks that have been developed to evaluate these systems and some experimental studies. We discuss the limitations of the existing technology at solving these kinds of problems. We argue that it is not clear whether these kinds of limitations will be important in developing AI technology for pure mathematical research, but that they will be important in applications of mathematics, and may well be important in developing programs capable of reading and understanding mathematical content written by humans.

연구 동기 및 목표

• 초등 수학과 세계 지식 및 상식을 결합하는 수학 문제의 유형을 명확히 한다.
• 현재 AI 접근 방식(언어 모델, 코드 생성, 형식화)이 이러한 문제에서 어떻게 수행되는지 평가한다.
• 상식적 수학 문제에 대한 AI 성능을 평가하는 벤치마크와 실험을 검토한다.
• AI 주도 수학 교육 및 사람이 읽을 수 있는 수학 콘텐츠의 의미 및 한계에 대해 논의한다.

제안 방법

• 수학 문제를 기호적, 단어 문제, 실세계 단어 문제, 상식 단어 문제(CSW), 및 초등 CSW로 분류한다.
• 단어 문제에 대한 세 가지 AI 접근법을 설명한다: 직접 정답 생성, 문제를 해결하기 위한 코드 생성, 그리고 형식적 명세를 검증기에 입력하기 위한 자동 형식화.
• 훈련, 프롬프트 및 환각과 같은 한계를 포함한 대형 언어 모델(LLM)의 특성을 요약한다.
• 벤치마크(SVAMP, Līla) 및 벤치마크 이슈를 검토한다. 데이터 품질 문제 및 테스트되지 않은 능력을 포함한다.
• 문헌의 LLM 성능에 대한 문제 범주별 실험적 결과를 제시하고 IID와 OOD 설정을 비교한다.

실험 결과

연구 질문

• RQ1 현재 AI 기술이 상식 추론을 필요로 하는 수학 문제를 푸는 데 어떤 능력과 한계가 있는가?
• RQ2 세 가지 AI 접근법(직접 정답, 코드 생성, 형식화)이 상식 수학 단어 문제에서 어떻게 수행되는가?
• RQ3 수학 문제에 대해 AI를 평가하기 위한 벤치마크는 무엇이며, 그것들이 현재의 능력과 격차에 대해 무엇을 밝히는가?
• RQ4 AI의 한계가 수학의 응용과 사람이 작성한 수학 내용을 읽고 이해하는 데 어떤 함의를 갖는가?

주요 결과

• LLMs는 언어 작업에서 뛰어난 성능을 보일 수 있지만 실제 세계 지식과 수학 통합이 필요한 상식적 단어 문제를 일관되게 해결하는 데는 어려움이 있다.
• 코드 생성 접근법(예: Codex)은 단어 문제를 실행 가능한 코드로 변환할 수 있지만 학습 데이터 패턴에 의존하고 비사소한 경우나 문제 명세가 바뀌면 실패할 수 있다.
• Isabelle로의 자동 형식화는 일부 문제를 형식적 증명으로 변환할 수 있지만 성공률은 제한적(테스트된 사례에서 정확한 번역 약 25%).
• 벤치마크 결과는 카테고리별로 큰 차이를 보이며, 기초 수학은 기하학이나 미적분 같은 통합 카테고리보다 성능이 더 높을 수 있고, 분포 외 설정에서 주목할 만한 문제가 있다.
• AI의 수학적 능력, 상식 추론, 형식적 수학 콘텐츠의 안정적 조작 사이에 진단적 격차가 있어 교육 및 수학적 이해에 영향을 준다.