[논문 리뷰] A Survey of Deep Learning for Mathematical Reasoning

Pan Lu, Liang Qiu외 3명|arXiv (Cornell University)|2022. 12. 20.

Intelligent Tutoring Systems and Adaptive Learning인용 수 7

한 줄 요약

이 종합 검토는 지난 10년간 수학적 추론을 위한 딥러닝 접근법에 대한 포괄적인 개요를 제공하며, 작업, 데이터셋, 방법을 통합된 분류 체계로 분류한다. 기존 벤치마크와 모델을 평가하며, 사전 훈련된 언어 모델과 인라인 학습의 최근 발전을 강조하고, 수학적 추론 AI 분야의 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Mathematical reasoning is a fundamental aspect of human intelligence and is applicable in various fields, including science, engineering, finance, and everyday life. The development of artificial intelligence (AI) systems capable of solving math problems and proving theorems has garnered significant interest in the fields of machine learning and natural language processing. For example, mathematics serves as a testbed for aspects of reasoning that are challenging for powerful deep learning models, driving new algorithmic and modeling advances. On the other hand, recent advances in large-scale neural language models have opened up new benchmarks and opportunities to use deep learning for mathematical reasoning. In this survey paper, we review the key tasks, datasets, and methods at the intersection of mathematical reasoning and deep learning over the past decade. We also evaluate existing benchmarks and methods, and discuss future research directions in this domain.

연구 동기 및 목표

• 딥러닝에서 수학 단어 문제, 정리 증명, 기하학 문제, 정량적 추론 등 수학적 추론 작업을 체계적으로 분류하는 분류 체계를 제공한다.
• 다양한 수학적 추론 작업에 걸쳐 기존의 벤치마크와 데이터셋을 평가하며, 각각의 강점과 한계를 부각한다.
• 순서에서 순서로 모델에서 그래프 신경망 및 사전 훈련된 언어 모델로 이르는 딥러닝 방법의 진화를 분석한다.
• 인라인 학습과 사고 체인 프롬프팅이 수학적 추론 작업에서 모델 성능 향상에 기여하는 방식을 검토한다.
• 더 강력하고 일반화 가능하며 해석 가능한 수학적 추론을 위한 AI 시스템 개발을 위한 열린 과제와 향후 연구 방향을 규명한다.

제안 방법

• 수학적 추론을 다섯 가지 핵심 작업으로 분류한다: 수학 단어 문제 해결, 정리 증명(형식적 및 비형식적), 기하학 문제 해결(주석 유무 포함), 수학 질문 응답, 기타 정량적 추론(예: 과학, 금융, 프로그래밍).
• MathQA, SVAMP, CoqGym, Geometry3K, DROP, ScienceQA 등 20개 이상의 주요 데이터셋을 검토하며, 크기, 모odal, 주석 유형 등의 세부 통계를 제공한다.
• 딥러닝 모델을 세 가지 주요 유형으로 분류한다: (1) 순서에서 순서로 모델(예: DNS, AnsRat), (2) 그래프 기반 모델(예: GTS, Graph2Tree), (3) 어텐션 기반 모델(예: Math-EN, GROUP-ATT).
• 사전 훈련된 언어 모델(예: GenBERT, Minerva)과 자가학습 및 미세조정을 통한 수학적 추론에 대한 적응 전략을 분석한다.
• 성능 향상에 기여하는 인라인 학습 기법을 분석한다. 예: 소수의 사고 체인 프롬프팅(Few-shot-CoT) 및 자기 일관성.
• 작도도(그림 1)를 통해 작업, 데이터셋, 방법을 통합한 체계적 분류 체계를 제안하여 향후 연구 및 모델 개발을 안내한다.

실험 결과

연구 질문

• RQ1 수학적 추론 작업의 주요 범주들은 무엇이며, 입력 모달리티, 주석 방식, 추론 복잡도 측면에서 어떻게 다릅니까?
• RQ2 초기 순서에서 순서로 모델에서 현대의 그래프 및 트랜스포머 기반 아키텍처로 이르는 딥러닝 모델의 아키텍처 및 훈련 전략은 어떻게 진화해왔습니까?
• RQ3 사전 훈련된 언어 모델과 인라인 학습이 감독 미세조정 대비 수학적 추론 벤치마크에서 성능 향상에 얼마나 기여합니까?
• RQ4 현재 데이터셋과 벤치마크가 수학적 추론에서 일반화 및 내성성 평가에 있어 어떤 핵심 한계를 가지고 있습니까?
• RQ5 해석 가능하고 신뢰할 수 있으며 일반화 가능한 AI 시스템을 개발하기 위해 여전히 남아 있는 주요 과제는 무엇입니까?

주요 결과

• 딥러닝을 활용한 수학적 추론 분야의 논문 수는 2018년 약 10편에서 2022년 66편으로 증가하여 연구 성장이 급격히 이루어지고 있음을 보여준다.
• Minerva 및 GenBERT와 같은 사전 훈련된 언어 모델은 특히 인라인 학습과 조합되었을 때 수학 추론 벤치마크에서 뛰어난 성능을 보인다.
• 그래프 기반 및 트리 구조 모델(예: Graph2Tree, AST-Dec)은 기호적이고 구조적인 관계를 더 잘 포착함으로써 복잡한 수학 단어 문제에서 표준 순서에서 순서로 모델을 능가한다.
• 사고 체인 프롬프팅(예: Few-shot-CoT)을 활용한 인라인 학습은 MathQA 및 GSM8K와 같은 작업에서 제로샷 일반화 성능을 크게 향상시킨다.
• ScienceQA(21,208개 예제) 및 Geometry3K(1,000개 이상의 주석이 달린 기하학 문제)와 같은 데이터셋은 다중 모odal 및 다중 도메인 추론을 지원하지만, 규모와 다양성 측면에서 여전히 제한되어 있다.
• 진전에도 불구하고, 모델들은 여전히 분포 외 일반화, 희귀 연산, 복잡한 다이어그램 또는 다단계 논리 체인에 대한 추론에서 어려움을 겪고 있다.