[논문 리뷰] Limits of an AI program for solving college math problems

Ernest Davis|arXiv (Cornell University)|2022. 08. 14.

Artificial Intelligence in Education인용 수 41

한 줄 요약

논문은 Drori et al. 2022를 비판하며 Sympy가 문제 해결을 수행하고 신경망 구성 요소는 주로 입력 형식을 다듬는 역할이라고 주장한다; 81% 성공 주장에 의문을 제기하고 방법론적 및 해석상의 이슈를 강조한다.

ABSTRACT

Drori et al. (2022) report that "A neural network solves, explains, and generates university math problems by program synthesis and few-shot learning at human level ... [It] automatically answers 81\% of university-level mathematics problems." The system they describe is indeed impressive; however, the above description is very much overstated. The work of solving the problems is done, not by a neural network, but by the symbolic algebra package Sympy. Problems of various formats are excluded from consideration. The so-called "explanations" are just rewordings of lines of code. Answers are marked as correct that are not in the form specified in the problem. Most seriously, it seems that in many cases the system uses the correct answer given in the test corpus to guide its path to solving the problem.

연구 동기 및 목표

• 시스템이 대학 수준의 수학 문제를 어떻게 해결하는지와 어떤 구성요소가 책임이 있는지 평가한다.
• 제시된 81% 성공률의 타당성과 학습 설정(제로샷 vs 파샷)을 평가한다.
• 문제 형식, 문제 진술 및 제공된 설명이나 출력 간의 불일치를 식별한다.
• 설명의 성격과 그것이 문제 해결을 의미 있게 조명하는지 여부를 검토한다.

제안 방법

• 문제 해결 파이프라인과 솔루션 과정에서 Sympy의 역할에 대한 서술적 비판.
• 제시된 성능과 GPT-3 및 다른 벤치마크의 결과를 비교 평가.
• 문제 형식, 입력 적응, 문제 요구사항에 대한 답안의 정렬 여부를 검토한다.
• 보고된 설명과 학습 또는 이해에 유용한지 여부를 분석한다.

실험 결과

연구 질문

• RQ1 시스템에서 실제로 수학적 해결을 수행하는 구성요소는 무엇인가(신경망 vs 기호 수학 패키지)?
• RQ2 보고된 81% 성공률이 문제 유형과 형식 전반에 걸친 시스템의 능력을 정확히 반영하는가?
• RQ3 주장의 설명 및 소수 샷 추가가 방법론적으로 타당하고 실제로 학습에 도움이 되는가?
• RQ4 문제 형식과 평가 기준이 보고된 결과에 어떤 영향을 미치는가?
• RQ5 시스템이 해결책을 이끄는 데 테스트 코퍼스의 정답이나 채점 아티팩트에 얼마나 의존하는가?

주요 결과

• 실제 문제 해결 작업은 신경망이 아니라 Sympy에 의해 수행된다.
• 이미지나 증명을 포함하는 문제는 시스템이 해결할 수 없어 81% 주장에 도전한다.
• 일부 출력은 원래 문제의 요청 형식에 맞지 않는다.
• 설명은 의미 있는 문제 설명이라기보다 거의 줄 단위 코드 설명으로 구성되어 있다.
• 제로샷 및 파샷 학습이 어떻게 트리거되는지와 코퍼스에서 정답을 활용하는지 여부에 관한 우려가 있다.
• 저자 구성 및 방법론적 세부사항이 안일함과 잠재적 오해의 소지가 있음을 시사한다.