[논문 리뷰] Reverse Operation based Data Augmentation for Solving Math Word Problems

Qianying Liu, Wenyu Guan외 4명|arXiv (Cornell University)|2020. 10. 04.

Topic Modeling참고 문헌 31인용 수 6

한 줄 요약

이 논문은 기존 문제의 수학적 논리 구조를 뒤집음으로써 고품질의 훈련 예제를 생성하는 역연산 기반 데이터 증강 방법인 RODA를 제안한다. RODA는 기존 문제의 알려진 값과 미지의 값을 교환하고, 해를 구하는 식을 역전시켜 의미적으로 타당하고 추론 중심의 문제를 생성한다. 이는 새로운 수학적 지식 포인트를 도입하여 Math23K에서 최신 기준 모델 성능을 크게 향상시키며, 백트랜스레이션과 같은 강력한 베이스라인을 능가한다.

ABSTRACT

Automatically solving math word problems is a critical task in the field of natural language processing. Recent models have reached their performance bottleneck and require more high-quality data for training. We propose a novel data augmentation method that reverses the mathematical logic of math word problems to produce new high-quality math problems and introduce new knowledge points that can benefit learning the mathematical reasoning logic. We apply the augmented data on two SOTA math word problem solving models and compare our results with a strong data augmentation baseline. Experimental results show the effectiveness of our approach. We release our code and data at https://github.com/yiyunya/RODA.

연구 동기 및 목표

• 제한된 고품질 훈련 데이터로 인해 발생하는 수학적 단어 문제(MWP) 해결 성능 저하 문제를 해결하기 위해.
• 어휘 재구성 기반 데이터 증강의 한계를 극복하기 위해, 이는 잡음을 유발하고 새로운 수학적 추론 패턴을 생성하지 못함.
• 기존 문제의 수학적 논리를 뒤집음으로써 새로운 고품질 MWP 예제를 생성하는 방법을 개발하기 위해.
• 어휘 변형을 초월해 새로운 수학적 지식 포인트를 도입함으로써 모델 일반화 능력을 향상시키기 위해.
• 다양한 MWP 데이터셋과 모델에서 역연산 기반 증강의 효과성을 입증하기 위해.

제안 방법

• 주어진 MWP의 수학적 연산을 뒤집는 방법: 문제 문장 내에서 알려진 값과 미지의 값을 교환한다.
• 해를 구하는 식을 역전시킴 (예: time = distance / speed → distance = time × speed)으로 수학적 정확성을 유지한다.
• 원래 질문을 원래 답을 입력으로 하는 서술문으로 변환하고, 원래 답의 역할을 다시 미지의 값으로 재할당한다.
• 문장의 마지막 절에서만 의문사(예: 'how many', 'how much')를 사용하여 새로운 문제의 문법적 및 의미적 일관성을 확보한다.
• 표현식의 시작에 음수 항이 오는 것을 방지하기 위해 식 정규화를 적용함으로써 일관된 문법적 구조를 확보한다.
• 모델에 종속되지 않으며, 임의의 시퀀스-투-시퀀스 MWP 해법 모델에 적용 가능하여 추론 수준의 데이터 증강을 통해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 역연산 기반 데이터 증강이 모델 성능 향상에 기여하는 고품질이며 수학적으로 타당한 MWP 예제를 생성할 수 있는가?
• RQ2 이 방법이 어휘 재구성 수준을 초월해 새로운 수학적 지식 포인트를 도입함으로써 추론 일반화 능력을 향상시키는가?
• RQ3 복잡하고 단순한 MWP 데이터셋에서 백트랜스레이션과 같은 강력한 베이스라인과 비교해 성능 향상 측면에서 RODA는 어떠한가?
• RQ4 이 방법은 Math23K 및 AllArith와 같은 다양한 언어와 MWP 데이터셋 간에 일반화 가능한가?
• RQ5 최신 기준 MWP 해법 모델에 적용했을 때 데이터 증강이 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• RODA는 Math23K 데이터셋에서 최신 기준 성능을 달성하여 기존 모델과 강력한 베이스라인을 모두 능가했다.
• Math23K에서 RODA는 백트랜스레이션 대비 F1 점수를 0.4%p 향상시켜 70.3%에서 70.7%로 상승시켰으며, 이는 복잡하고 대규모 데이터에서 뛰어난 성능을 보임을 시사한다.
• AllArith 데이터셋의 831개 문제에서 715개의 새로운 고품질 예제를 생성하여 원본 문제 수의 0.86% 비율을 차지했다.
• 더 단순한 AllArith 데이터셋에서는 백트랜스레이션과 유사한 성능을 달성하여, 데이터 복잡성 수준에 관계없이 뛰어난 안정성을 입증했다.
• 증강된 데이터는 역공식 등 새로운 수학적 지식 포인트를 도입하여, 표면적 어휘 변형을 넘어서 추론 논리 학습을 돕는 데 기여했다.
• 수학적 엄밀성을 유지하면서 알려진/미지의 변수의 구조적 역할만 수정함으로써 잡음의 발생을 효과적으로 방지하여 의미적 타당성을 확보했다.