[논문 리뷰] Giving BERT a Calculator: Finding Operations and Arguments with Reading Comprehension

Daniel Andor, Luheng He외 2명|arXiv (Cornell University)|2019. 08. 31.

Topic Modeling참고 문헌 1인용 수 9

한 줄 요약

이 논문은 숫자 추론을 수행할 수 있도록 경량의 실행 가능한 프로그램을 BERT 기반 독해 모델에 통합하여 개선함으로써, 개괄적 수치 답변을 위한 연산(예: Diff, Sum, Mul, Div)과 인자(숫자 구간)를 예측할 수 있도록 한다. 이 모델은 DROP 데이터셋에서 기존 최상위 성능 모델인 NAQANet 대비 33%p의 절대 F1 향상을 달성했으며, 수학 단어 문제에 대해서도 소수의 예시로 일반화할 수 있어, 두 작업 모두에서 이전 방법들을 능가한다.

ABSTRACT

Reading comprehension models have been successfully applied to extractive text answers, but it is unclear how best to generalize these models to abstractive numerical answers. We enable a BERT-based reading comprehension model to perform lightweight numerical reasoning. We augment the model with a predefined set of executable 'programs' which encompass simple arithmetic as well as extraction. Rather than having to learn to manipulate numbers directly, the model can pick a program and execute it. On the recent Discrete Reasoning Over Passages (DROP) dataset, designed to challenge reading comprehension models, we show a 33% absolute improvement by adding shallow programs. The model can learn to predict new operations when appropriate in a math word problem setting (Roy and Roth, 2015) with very few training examples.

연구 동기 및 목표

• 추상적 답변이 필요한 수치 추론 작업을 처리하는 데에 한계가 있는 추출 기반 독해 모델의 문제점을 해결하기 위해.
• 간단한 구간 추출을 넘어서 이산적이고 정량적인 추론을 요구하는 DROP 데이터셋에서 성능을 향상시키기 위해.
• 기존 독해 모델과 수치 추론을 모두 처리할 수 있는 통합 모델을 최소한의 아키텍처 변경으로 가능하게 하기 위해.
• 소규모 학습 데이터로도 새로운 연산(예: 곱셈, 나눗셈)에 대한 일반화 성능을 평가하기 위해.
• 추론 단계를 반영하는 기호 프로그램 예측을 통해 해석 가능성(의미 해석 가능성)을 제공하기 위해.

제안 방법

• 산술 연산(Diff, Sum, Mul, Div), 구간 추출, 논리 연산을 포함한 사전 정의된 실행 가능한 프로그램 세트를 BERT 기반 추출 QA 모델에 통합한다.
• 수치적 답변을 직접 예측하는 대신 프로그램(연산 및 인자)을 예측하도록 모델을 훈련시켜 계산기를 통해 계산을 위탁한다.
• 인자를 본문 내 숫자 또는 구간에 대한 포인터로 사용하여, 연산의 조합(예: Diff(Sum(a,b), c))을 가능하게 한다.
• CoQA에서 공훈련을 통해 기존 독해 모델 성능을 유지하면서 DROP 성능을 향상시킨다.
• DROP에서 미세조정하고 앙상블을 적용하여 성능을 향상시키며, 다중 구간 답변에서의 클래스 불균형 문제를 중심적으로 다룬다.
• Illinois 수학 단어 문제 데이터셋에서 소수의 예시 학습을 적용하여 새로운 연산에 대한 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델에 경량의 실행 가능한 프로그램을 통합하여 DROP와 같은 수치 추론 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 매우 소수의 훈련 예시로도 수학 단어 문제에서 새로운 연산(예: 곱셈, 나눗셈)에 대해 얼마나 잘 일반화할 수 있는가?
• RQ3 기존 독해 모델 성능(예: CoQA)을 유지하면서 DROP에서 성능 향상을 이룰 수 있는가?
• RQ4 프로그램 수준의 해석(예: Diff(55893, 48341) 예측)이 모델의 해석 가능성과 추론 정확도를 향상시키는가?
• RQ5 복합적 연산(예: Sum3, Merge)은 어떤 정도 복잡한 답변 유형에서 성능 향상에 기여하는가?

주요 결과

• 모델은 DROP 개발 세트에서 81.1의 F1 스코어를 기록하여 이전 최상위 성능 모델인 NAQANet 대비 33%p의 절대적 향상을 달성했다.
• Diff100과 Sum3 연산을 추가함으로써 각각 9%와 1.1%의 상대적 향상이 있었으며, 이는 데이터 내 빈도와 일치했다.
• CoQA에서의 공훈련을 통해 DROP 성능 향상과 함께 CoQA에서 82.2 F1을 유지하여 이중 작업 능력을 입증했다.
• DROP에서의 사전 훈련과 IL 데이터에서의 미세조정 후 Illinois 수학 단어 문제 데이터셋에서 83.2%의 정확도를 달성하여 이전 규칙 기반 및 딥 강화 학습 모델을 능가했다.
• 단지 562개의 훈련 예시로도 수학 단어 문제에서 곱셈과 나눗셈 연산을 예측할 수 있도록 학습되어 소수의 예시 일반화 능력이 뛰어났다.
• 6개의 모델을 앙상블하여 추가로 1%의 성능 향상을 이끌어내어 DROP에서 최종 F1 스코어 81.1에 도달했다.