[논문 리뷰] Translating a Math Word Problem to an Expression Tree

Lei Wang, Yan Wang외 3명|arXiv (Cornell University)|2018. 11. 14.

Intelligent Tutoring Systems and Adaptive Learning인용 수 10

한 줄 요약

이 논문은 수학 단어 문제에서 동일한 결과를 낳는 여러 등식을 유일한 표현 트리로 매핑하는 등식 정규화 방법을 제안한다. 이는 순서 기반 모델의 출력 모호성을 감소시킨다. 순서와 괄호 규칙을 사용해 등식을 정규화하고, Bi-LSTM, ConvS2S, Transformer의 세 가지 최신 SOTA 순서 기반 모델을 앙상블하여 조합함으로써, Math23K에서 정확도를 60.7%에서 68.4%로 향상시켜 새로운 최고 성능을 달성한다.

ABSTRACT

Sequence-to-sequence (SEQ2SEQ) models have been successfully applied to automatic math word problem solving. Despite its simplicity, a drawback still remains: a math word problem can be correctly solved by more than one equations. This non-deterministic transduction harms the performance of maximum likelihood estimation. In this paper, by considering the uniqueness of expression tree, we propose an equation normalization method to normalize the duplicated equations. Moreover, we analyze the performance of three popular SEQ2SEQ models on the math word problem solving. We find that each model has its own specialty in solving problems, consequently an ensemble model is then proposed to combine their advantages. Experiments on dataset Math23K show that the ensemble model with equation normalization significantly outperforms the previous state-of-the-art methods.

연구 동기 및 목표

• 동일한 문제에 대해 여러 유효한 등식이 존재함으로써 발생하는 수학 단어 문제(MWP) 해결에서의 비결정적 출력 공간 문제를 해결하기 위해.
• 등가의 등식을 유일한 표현 트리 표현으로 정규화함으로써 순서 기반 모델의 MWP 해결 성능을 향상시키기 위해.
• 다양한 순서 기반 아키텍처(비대칭 LSTM, ConvS2S, Transformer)가 수학 단어 문제 해결에서 가지는 상호보완적 강점을 탐구하고 앙상블 학습을 통해 통합하기 위해.
• 등식 정규화와 모델 앙상블이 Math23K 벤치마크에서 최신 기술 수준의 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 문제 내에서 중요한 수치를 식별하고, 이를 토큰(n1, n2 등)으로 대체함으로써 등식 템플릿을 생성하기 위해 숫자 매핑을 적용한다.
• 두 가지 정규화 규칙을 도입한다: (1) 길이가 다를 경우 더 짧은 템플릿을 우선시하고, (2) 원본 문제에서의 등장 순서에 따라 토큰을 정렬한다.
• 중복된 괄호를 제거하여 괄호 기반의 등식 중복을 제거한다.
• 정규화된 등식 템플릿을 기반으로 세 가지 최신 SOTA 순서 기반 모델(Bi-LSTM, ConvS2S, Transformer)을 훈련하고 비교한다.
• 세 모델의 예측 결과를 조합하여 상호보완적 강점을 활용하는 앙상블 모델을 구성한다.
• 빔 서치 디코딩과 후처리를 통해 토큰화된 등식 템플릿을 수치적 해로 변환한다.

실험 결과

연구 질문

• RQ1 여러 등가의 등식을 하나의 표현 트리 표현으로 정규화함으로써 순서 기반 모델의 수학 단어 문제 해결 성능 향상이 가능한가?
• RQ2 다른 순서 기반 아키텍처(Bi-LSTM, ConvS2S, Transformer)는 다양한 유형의 수학 단어 문제 해결에서 상호보완적 강점을 보이는가?
• RQ3 등식 정규화가 최대 우도 추정에서 모호성 감소와 훈련 안정성 향상에 어느 정도 기여하는가?
• RQ4 다양한 순서 기반 모델의 앙상블은 수학 단어 문제 벤치마크에서 개별 모델을 초월할 수 있는가?

주요 결과

• 등식 정규화는 모든 개별 모델의 정확도를 향상시키며, 다양한 아키텍처 간 정확도 향상 폭은 2.7%에서 7.1%까지 다양하다.
• 정규화 후 Bi-LSTM 모델이 가장 높은 개별 정확도 66.7%를 기록했고, 그 다음으로 ConvS2S(64.2%), Transformer(62.3%) 순이었다.
• 앙상블 모델은 최고의 정확도 68.4%를 기록했으며, 가장 뛰어난 개별 모델(Bi-LSTM) 대비 1.7% 향상되었다.
• 제거 실험(ablation study) 결과, 괄호 제거(EB)가 성능 향상에 가장 기여했으며(Bi-LSTM 기준 65.3%), 이어 규칙 2(63.7%), 규칙 1(63.1%) 순이었다.
• 사례 연구 결과, 멀티헤드 어텐션 덕분에 Transformer 모델은 복잡한 추론 작업에서 뛰어난 성능을 보였고, ConvS2S는 컨볼루션 블록을 통해 문맥적 관계를 효과적으로 포착했다.
• 이 방법은 등식 중복을 효과적으로 줄여 순서 기반 모델의 훈련 과정을 더 결정적이고 안정적으로 만들었다.