[논문 리뷰] A Weakly Supervised Model for Solving Math word Problems.

Oishik Chatterjee, Aashish Waikar외 3명|arXiv (Cornell University)|2021. 04. 14.

Natural Language Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 중간 단계의 방정식 레이블링이 필요 없이 최종 답변만을 supervision으로 사용하여 수학 단어 문제를 해결하는 약한 감독 모델을 제안한다. 문제 기술과 최종 답변에서 방정식을 생성하도록 순서-순서 모델을 훈련시킴으로써, Math23K 데이터셋에서 56.0%의 정확도를 달성하여 전체 방정식 수준의 supervision 없이도 뛰어난 성능을 보여준다.

ABSTRACT

Solving math word problems (MWPs) is an important and challenging problem in natural language processing. Existing approaches to solve MWPs require full supervision in the form of intermediate equations. However, labeling every math word problem with its corresponding equations is a time-consuming and expensive task. In order to address this challenge of equation annotation, we propose a weakly supervised model for solving math word problems by requiring only the final answer as supervision. We approach this problem by first learning to generate the equation using the problem description and the final answer, which we then use to train a supervised MWP solver. We propose and compare various weakly supervised techniques to learn to generate equations directly from the problem description and answer. Through extensive experiment, we demonstrate that even without using equations for supervision, our approach achieves an accuracy of 56.0 on the standard Math23K dataset. We also curate and release a new dataset for MWPs in English consisting of 10227 instances suitable for training weakly supervised models.

연구 동기 및 목표

• 수학 단어 문제의 중간 단계 방정식 레이블링에 드는 높은 비용과 노력을 해결하기 위해.
• 전체 방정식 수준의 supervision 없이도 최종 답변만으로 MWP 솔버를 훈련시킬 수 있도록 하여 레이블링 부담을 줄이기 위해.
• 문제 텍스트와 답변에서 직접 방정식을 생성하는 약한 감독 기법을 개발하기 위해.
• 약한 감독 모델 훈련을 위한 새로운 영어 MWP 데이터셋 10,227건을 수집하고 공개하기 위해.
• 전체 방정식 수준의 supervision 없이도 고성능의 MWP 해결이 가능함을 입증하기 위해.

제안 방법

• 최종 답변 수준의 supervision만을 사용하여 문제 기술과 최종 답변에서 방정식을 생성하도록 순서-순서 모델을 훈련시킨다.
• 훈련 중에 진정한 방정식 레이블에 접근할 수 없도록 하여 다양한 약한 감독 학습 기법을 적용하여 방정식 생성을 최적화한다.
• 생성된 방정식을 사용하여 감독 학습 기반의 MWP 솔버를 훈련시켜 최종 답변만으로도 엔드 투 엔드 학습이 가능하게 한다.
• 모델의 방정식 생성 능력을 활용하여 후속 MWP 해결을 위한 시뮬레이션된 감독 신호를 생성한다.
• 답변에 맞는 훈련 목표와 시퀀스 생성 손실을 조합하여 방정식 생성기의 미세조정을 수행한다.
• 약한 감독 학습을 위한 공개용으로 사용 가능한, 최종 답변만 레이블링된 10,227건의 영어 수학 단어 문제로 구성된 새로운 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 최종 답변만을 supervision으로 사용하여 수학 단어 문제에 대해 정확한 방정식을 생성하는 모델이 학습될 수 있는가?
• RQ2 문제 텍스트와 답변에서 방정식을 생성하는 데 있어 다양한 약한 감독 기법의 효과는 어떠한가?
• RQ3 방정식 레이블링 없이도 표준 MWP 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 최종 답변 레이블링만 있는 수학 단어 문제의 커리레이티드 데이터셋이 약한 감독 기반 MWP 솔버의 효과적인 훈련을 지원할 수 있는가?
• RQ5 전체 방정식 수준의 supervision 없이도 최종 MWP 솔버의 성능이 경쟁력 있는가?

주요 결과

• 제안된 약한 감독 모델은 방정식 레이블링을 전혀 사용하지 않고도 표준 Math23K 벤치마크에서 56.0%의 정확도를 달성한다.
• 모델는 문제 기술과 최종 답변에서 유의미한 방정식을 성공적으로 생성하여 효과적인 후속 MWP 해결이 가능해진다.
• 다양한 약한 감독 기법을 통한 방정식 생성은 경쟁 가능한 결과를 도출하여 답변 전용 supervision의 가능성은 입증된다.
• 최종 답변 레이블링만 있는 10,227건의 영어 MWP 인스턴스로 구성된 커리레이티드 데이터셋은 약한 감독 모델 훈련을 위한 공개 용도로 공개된다.
• 이 방법은 레이블링 비용을 크게 줄이며 뛰어난 성능을 유지하여 자원이 제한된 MWP 훈련 환경에서 실용 가능함을 입증한다.
• 결과적으로 최종 답변 수준의 supervision만으로도 功能적인 MWP 솔버를 도출할 수 있음을 보여주며, 전체 방정식 수준의 레이블링이 반드시 필요하다는 전제를 도전한다.