[논문 리뷰] Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems

Keyur Faldu, Amit Sheth외 3명|arXiv (Cornell University)|2021. 10. 29.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 수학 단어 문제(MWPs)를 해결하기 위한 신경망 기반 및 비신경망 기반 접근법을 종합적으로 조사하며, 해석 가능하고 설명 가능하며 지식을 통합한 모델의 필요성을 강조한다. 세 가지 핵심 신경망 전략—직접 답변 생성, 표현 트리 생성, 템플릿 검색—을 식별하고, 일반화 능력과 수학적 추론 능력의 한계를 극복하기 위해 외부 지식과 기호적 추론을 통합할 것을 주장한다.

ABSTRACT

Mathematical reasoning would be one of the next frontiers for artificial intelligence to make significant progress. The ongoing surge to solve math word problems (MWPs) and hence achieve better mathematical reasoning ability would continue to be a key line of research in the coming time. We inspect non-neural and neural methods to solve math word problems narrated in a natural language. We also highlight the ability of these methods to be generalizable, mathematically reasonable, interpretable, and explainable. Neural approaches dominate the current state of the art, and we survey them highlighting three strategies to MWP solving: (1) direct answer generation, (2) expression tree generation for inferring answers, and (3) template retrieval for answer computation. Moreover, we discuss technological approaches, review the evolution of intuitive design choices to solve MWPs, and examine them for mathematical reasoning ability. We finally identify several gaps that warrant the need for external knowledge and knowledge-infused learning, among several other opportunities in solving MWPs.

연구 동기 및 목표

• 비신경망 및 신경망 기반 방법을 활용한 수학 단어 문제(MWPs) 해결 분야의 최신 기술 상태를 분석하기 위해.
• 기존 모델의 수학적 추론 능력을 평가하여, 해석 가능성, 설명 가능성, 일반화 능력에 초점을 맞추기 위해.
• 현재 접근법의 격차를 특정화하기 위해, 특히 표면적인 패턴에 대한 과도한 의존과 도메인 특화 지식과의 통합 부족을 중심으로 하기 위해.
• 지식 기반 학습, 외부 지식 벡터, 하이브리드 신경-기호 아키텍처를 통해 MWP 해결 성능을 향상시킬 수 있는 기회를 탐색하기 위해.
• 지식 집약적인 수학적 추론 작업에 특화된 평가 벤치마크 개발을 촉진하기 위해.

제안 방법

• MWPs 해결을 위한 규칙 기반 시스템, 의미 구문 분석, 템플릿 검색과 같은 비신경망 방법을 조사하기 위해.
• 세 가지 핵심 전략에 초점을 맞춘 신경망 접근법을 분석하기 위해: 직접 답변 생성, 기호적 추론을 위한 표현 트리 생성, 계산을 위한 템플릿 검색.
• 표현 트리의 사용을 제안하여 MWP 해결 모델의 해석 가능성 향상과 단계별 추론 가능성을 높이기 위해.
• 학습 중 외부 지식 벡터를 통합하여 수학 단어 문제에서의 추론 능력을 향상시키기 위해.
• 정책 학습을 통한 계산 그래프(예: 표현 트리) 구축 최적화를 위해 강화 학습을 탐색하기 위해.
• 모델의 투명성 향상과 사용자 참여를 증진하기 위해 중간에 자연어 설명을 통합할 것을 주장하기 위해.

실험 결과

연구 질문

• RQ1 현재 MWP 해결 모델들이 진정한 수학적 추론이 아닌 표면적인 통계적 패턴에 얼마나 의존하고 있는가?
• RQ2 신경망 모델이 수학적 추론 맥락에서 어떻게 더 해석 가능하고 설명 가능하게 만들 수 있는가?
• RQ3 외부 지식과 지식 기반 학습이 MWP 해결 모델의 강건성과 일반화 능력을 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ4 강화 학습이 MWP 해결을 위한 최적의 계산 그래프를 구성하는 데 효과적으로 적용될 수 있는가?
• RQ5 하이브리드 신경-기호 시스템은 복잡한 MWP를 해결할 때 인간과 유사한 수학적 추론 방식을 어떻게 더 잘 모방할 수 있는가?

주요 결과

• 기존 신경망 모델은 표준 벤치마크에서 높은 성능를 달성하지만, 깊은 수학적 추론보다는 얕은 히ュ리스틱에 의존하는 경우가 많다.
• 표현 트리 생성은 해석 가능성을 향상시키고 단계별 추론을 가능하게 하여 더 투명하고 설명 가능한 MWP 해결 모델로 가는 길을 열어준다.
• 비신경망 방법은 훈련 데이터의 크기에 따라 선형적으로 확장되지 않지만, 신경망 모델은 대규모 훈련 데이터를 활용해 복잡한 MWPs를 다루는 데 잠재력을 보인다.
• 중간에 자연어 설명을 통합하면 모델의 투명성이 향상되고 사용자가 추론 단계를 따라가는데 도움이 되어 신뢰도와 참여도를 높인다.
• 외부 지식 통합과 지식 벡터 통합은 도메인 특화 공식과 개념이 필요한 지식 집약적인 MWPs 해결에 있어 핵심적인 역할을 한다.
• 강화 학습은 MWP에서 계산 그래프의 구축을 최적화하는 데 잠재력을 보이고 있으나, 아직 초기 단계에 머물러 있다.