[논문 리뷰] Solving Arithmetic Word Problems with Transformers and Preprocessing of Problem Text

Kaden Griffith, Jugal Kalita|arXiv (Cornell University)|2021. 06. 02.

Natural Language Processing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 산술 어휘 문제를 인fix, 프리픽스, 또는 포스트픽스 표기법을 사용하여 산술 표현식으로 번역하는 Transformer 기반의 시퀀스-투-시퀀스 모델을 제안한다. 숫자 태깅과 언어적 필터링(예: LST, 불용어 제거)과 같은 전처리를 통해 모델은 이전 방법들보다 일부 데이터셋에서 30퍼센트 이상의 정확도 향상을 달성했으며, 포스트픽스 표현 방식이 가장 뛰어난 성능을 보였다.

ABSTRACT

This paper outlines the use of Transformer networks trained to translate math word problems to equivalent arithmetic expressions in infix, prefix, and postfix notations. We compare results produced by many neural configurations and find that most configurations outperform previously reported approaches on three of four datasets with significant increases in accuracy of over 20 percentage points. The best neural approaches boost accuracy by 30% when compared to the previous state-of-the-art on some datasets.

연구 동기 및 목표

• 신경 시퀀스-투-시퀀스 모델을 사용하여 자동 산술 어휘 문제 해결의 정확도를 향상시키는 것.
• 숫자 태깅과 언어적 필터링과 같은 전처리 기법이 모델의 일반화 능력 향상과 부작위적인 숫자 생성 감소에 기여하는지 조사하는 것.
• 신경 번역 모델을 통한 수학 어휘 문제 해결에서 다양한 산술 표현 형식(중위, 전위, 후위)의 효과를 평가하는 것.
• 외부 모듈 없이 표준 Transformer 아키텍처가 이 작업에서 전용 모델보다 뛰어난 성능을 낼 수 있는지 보여주는 것.
• 재현 가능성과 향후 자동 수학 문제 해결 연구를 위해 코드를 공개하는 것.

제안 방법

• 모델는 산술 문제 텍스트를 중위, 전위, 또는 후위 표기법으로 산술 표현식으로 번역하기 위해 Transformer 인코더-디코더 아키텍처를 사용한다.
• 모델이 입력에 없는 부작위적인 숫자를 생성하는 것을 방지하기 위해 전처리 단계에서 문제의 숫자를 일반화된 태그(예: ⟨i⟩, ⟨q⟩, ⟨x⟩)로 대체한다.
• 언어적 전처리에는 핵심 수학적 신호에 집중할 수 있도록 불필요한 단어를 제거하는 레마 기반 불용어 태깅(LST)이 포함된다.
• 모델는 교차 엔트로피 손실과 비드 서치 디코딩을 사용하여 네 가지 벤치마크 데이터셋에서 엔드 투 엔드로 훈련된다.
• 후위 및 전위 표기법은 괄호 균형 문제를 피할 수 있는 명확한 구조를 지녀 중위 표기법보다 선호된다.
• 전처리에는 불용어 필터링과 품사 태깅이 포함되지만, 일부 조합(예: 어간 추출 + 불용어 제거)은 성능을 떨어뜨린다.

실험 결과

연구 질문

• RQ1 숫자 태깅과 언어적 필터링을 통한 전처리가 산술 어휘 문제 해결을 위한 Transformer 기반 솔버의 정확도를 향상시키는가?
• RQ2 신경 시퀀스-투-시퀀스 모델에서 번역 정확도가 가장 높은 산술 표현 형식은 전위, 후위, 중위 중 무엇인가?
• RQ3 표준 Transformer 아키텍처가 전용으로 수학 어휘 문제 해결을 위해 설계된 신경 아키텍처를 능가할 수 있는가?
• RQ4 다양한 전처리 전략(예: LST, 불용어 제거, 어간 추출)은 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 모델은 원래 문제에 존재하지 않는 숫자를 얼마나 잘 방지하는가? 그리고 전처리가 이 문제를 어떻게 완화하는가?

주요 결과

• 포스트픽스 표기법을 사용한 Transformer 모델가 가장 높은 정확도를 기록했으며, 일부 데이터셋에서 이전의 최고 성능 모델보다 30퍼센트 이상 높은 성능을 보였다.
• 일반화된 자리표시자(⟨i⟩, ⟨q⟩, ⟨x⟩)를 사용한 숫자 태깅이 입력에 없는 부작위적인 숫자 생성을 크게 감소시켰다.
• 어간 추출과 불용어 제거를 병행한 조합은 성능 저하를 야기했으며, 이는 과도한 필터링으로 인한 정보 손실이 모델 학습에 악영향을 준다는 것을 시사한다.
• 후위 및 전위 표기법은 중위 표기법보다 모델의 안정성과 정확도를 향상시켰다. 중위 표기법은 괄호 배치 정확도가 중요하며 디코딩 복잡도를 증가시킨다.
• LST 전처리 방법(레마 기반 불용어 태깅)은 모든 데이터셋에서 성능 향상을 이끌었으며 추론 일관성까지 향상시켰다.
• 모델는 이전 접근 방식보다 평균적으로 약 10퍼센트의 정확도 향상을 달성했으며, 이는 단순하고 잘 설계된 전처리가 아키텍처의 복잡성 없이도 성능 향상에 크게 기여할 수 있음을 보여준다.