[논문 리뷰] Analysing Mathematical Reasoning Abilities of Neural Models

David Saxton, Edward Grefenstette외 2명|arXiv (Cornell University)|2019. 04. 02.

Topic Modeling참고 문헌 28인용 수 87

한 줄 요약

이 논문은 대규모의 절차적으로 생성된 자유 형식 수학 문제 데이터셋을 제시하여 신경 계열-대-계열 모델의 대수학 및 기호 추론을 평가하고, 순환 아키텍처와 Transformer 아키텍처를 비교하며 일반화를 분석한다. Transformer 모델은 일반적으로 순환 모델보다 성능이 우수한 반면, 외삽, 중간 계산, 그리고 진정한 알고리즘적 추론은 현재 모델에 남아 있는 도전과제로 남아 있다.

ABSTRACT

Mathematical reasoning---a core ability within human intelligence---presents some unique challenges as a domain: we do not come to understand and solve mathematical problems primarily on the back of experience and evidence, but on the basis of inferring, learning, and exploiting laws, axioms, and symbol manipulation rules. In this paper, we present a new challenge for the evaluation (and eventually the design) of neural architectures and similar system, developing a task suite of mathematics problems involving sequential questions and answers in a free-form textual input/output format. The structured nature of the mathematics domain, covering arithmetic, algebra, probability and calculus, enables the construction of training and test splits designed to clearly illuminate the capabilities and failure-modes of different architectures, as well as evaluate their ability to compose and relate knowledge and learned processes. Having described the data generation process and its potential future expansions, we conduct a comprehensive analysis of models from two broad classes of the most powerful sequence-to-sequence architectures and find notable differences in their ability to resolve mathematical problems and generalize their knowledge.

연구 동기 및 목표

• 신경 추론과 기호 조작 능력을 탐구하기 위해 수학 문제의 확장 가능하고 자유 형식의 텍스트 기반 데이터셋을 생성합니다.
• 최신 시퀀스 모델이 문제 유형 간 및 더 어려운 외삽 시나리오에 대해 얼마나 일반화하는지 평가합니다.
• 대수 일반화 및 하위 루틴 합성에서 모델의 강점, 약점 및 실패 모드를 식별합니다.

제안 방법

• 모듈(대수, 산술, 미적분, 확률 등) 전반에 걸쳐 다양한 수학 문제를 절차적으로 생성합니다.
• 문제와 답변을 자유 형식의 문자 시퀀스로 표현하여 광범위한 표현력을 허용합니다.
• 두 가지 주요 모델 클래스를 평가합니다(순환 아키텍처와 Transformer) — 입력-출력으로 답을 생성하는 방식으로.
• LSTM의 주의 기반 인코더-디코더 구성과 전체 Transformer를 사용한 자기회귀 문자 수준 디코딩을 구현합니다.
• 고정된 계산 예산(생각 단계)과 하이퍼파라미터 스윕을 통해 아키텍처 간 성능을 비교합니다.
• 인터폴레이션과 외삽 테스트 세트에서 각 문제에 대해 정확한 문자열 매치를 점수화합니다(0 또는 1).

실험 결과

연구 질문

• RQ1 신경 시퀀스 모델이 자유 형식 입력/출력 하에서 다중 주제에 걸친 수학적 추론을 학습하고 일반화할 수 있는가?
• RQ2 상징적 수학에서 순환 모델과 Transformer 모델의 상대적 강점과 실패 모드는 무엇인가?
• RQ3 모델이 학습 중에 보지 못한 더 어렵거나 더 큰 규모의 문제에 얼마나 일반화하는가(외삽)?
• RQ4 모델이 얕은 휴리스틱에 의존하는가, 아니면 합성 문제를 해결할 때 대수 일반화와 유사한 능력을 보이는가?

주요 결과

• Transformer는 특히 충분한 thinking steps를 거친 후 다수 모듈에서 평균 정확도가 순환 모델보다 높다.
• Relational Memory Cores는 LSTMs보다 성능이 뒤떨어지거나 데이터 효율이 낮을 수 있다.
• Attentional LSTMs는 단순 LSTMs보다 개선되지만 이득은 작업에 따라 다르며 thinking steps를 늘리면 일부 모델에 도움이 된다.
• 다항식 조작과 혼합 산술은 특히 더 어렵고, 일부 다항식 작업에서 Transformer가 이점을 보인다.
• 외삽 성능은 제한적이며, 모델이 학습 분포를 넘어서는 진정한 대수 일반화에 어려움을 겪고 있음을 시사한다.
• 실제 시험 문제에서 Transformer 모델은 14/40, 대략 E 등급을 기록하여 벤치마크 과제와 실제 수학 시험 간의 차이를 강조한다.