[논문 리뷰] NumGPT: Improving Numeracy Ability of Generative Pre-trained Models

Zhihua Jin, Xin Jiang외 5명|arXiv (Cornell University)|2021. 09. 07.

Topic Modeling참고 문헌 27인용 수 11

한 줄 요약

NumGPT는 과학적 표기법을 사용하여 숫자의 정규화와 지수를 별도의 임베딩으로 명시적으로 모델링함으로써 수리 능력을 향상시키는 새로운 생성형 사전 훈련 언어 모델을 소개한다. 이 모델은 수학 단어 문제, 측정 추정, 크기 분류와 같은 수리 추론 과제에서 최신 기술 수준의 성능을 달성하며, GPT 및 DICE를 적용한 GPT보다 여러 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

Existing generative pre-trained language models (e.g., GPT) focus on modeling the language structure and semantics of general texts. However, those models do not consider the numerical properties of numbers and cannot perform robustly on numerical reasoning tasks (e.g., math word problems and measurement estimation). In this paper, we propose NumGPT, a generative pre-trained model that explicitly models the numerical properties of numbers in texts. Specifically, it leverages a prototype-based numeral embedding to encode the mantissa of the number and an individual embedding to encode the exponent of the number. A numeral-aware loss function is designed to integrate numerals into the pre-training objective of NumGPT. We conduct extensive experiments on four different datasets to evaluate the numeracy ability of NumGPT. The experiment results show that NumGPT outperforms baseline models (e.g., GPT and GPT with DICE) on a range of numerical reasoning tasks such as measurement estimation, number comparison, math word problems, and magnitude classification. Ablation studies are also conducted to evaluate the impact of pre-training and model hyperparameters on the performance.

연구 동기 및 목표

• 기존의 사전 훈련된 언어 모델인 GPT와 같이 수리 추론 과제, 예를 들어 수학 단어 문제와 측정 추정에서 어려움을 겪는 모델의 제한된 수리 능력을 해결하기 위해.
• 숫자를 정규화와 지수 성분으로 분해하여 수치의 크기와 정밀도를 명시적으로 포착할 수 있는 모델을 설계하기 위해.
• 생성형 모델의 사전 훈련 목표에 숫자 인식 표현을 통합하여 수리 추론에서의 강인성을 향상시키기 위해.
• 합성 및 실제 세계의 수리 추론 벤치마크에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• NumGPT는 숫자의 정규화를 원형 기반 임베딩으로 표현하고 지수에 대해 개별 임베딩을 사용하여 크기와 정밀도를 별도로 모델링한다.
• 모델은 숫자를 과학적 표기법(예: 2300 → 2.3 × 10³)으로 분석하고 입력 임베딩 레이어에서 정규화와 지수를 별도로 인코딩한다.
• 사용자 선택 헤드에 기반해 텍스트 토큰 또는 숫자(정규화 및 지수 헤드를 통해)를 예측할 수 있는 네 헤드 출력 헤드 아키텍처를 사용한다.
• 언어 모델링과 숫자 생성을 동시에 최적화하기 위해 새로운 숫자 인식 손실 함수를 도입하여 숫자 값의 정확한 예측을 보장한다.
• 모델은 과학적 표기법으로 표준화된 형식(예: '2,300' 또는 '23%')을 처리하는 맞춤형 숫자 파서를 사용해 대규모 코퍼스에서 사전 훈련된다.
• 수학 단어 문제 및 크기 분류와 같은 작업에 적합하도록 도메인 특화 데이터셋에서 미세조정을 적용한다.

실험 결과

연구 질문

• RQ1 정규화와 지수 성분으로 구성된 숫자의 구조를 명시적으로 모델링하면 자동 회귀 언어 모델의 수리 능력 향상에 기여하는가?
• RQ2 원형 기반 숫자 임베딩의 통합은 표준 GPT와 비교해 수리 추론 과제에서 성능에 어떤 영향을 미치는가?
• RQ3 숫자 인식 손실 함수는 모델이 숫자를 생성하고 추론하는 능력을 어느 정도 향상시키는가?
• RQ4 제안된 방법은 측정 추정 및 크기 분류를 포함한 다양한 수리 추론 과제에 일반화되는가?

주요 결과

• 측정 추정 과제에서 NumGPT는 GPT 및 GPT with DICE보다 더 높은 정확도를 기록하며, 실제 세계의 양에 적절한 수치 값을 예측하는 데 뛰어난 성능을 보였다.
• 수학 단어 문제 과제에서 NumGPT는 보다 정확한 수치적 답변을 생성하여 기준 모델 대비 향상된 추론 능력을 보였다.
• Numeracy-600K 데이터셋을 사용한 크기 분류 과제에서 NumGPT는 우수한 성능을 보이며 숫자 크기 이해도 향상됨을 시사했다.
• 절단 실험 결과, 숫자 인식 손실과 정규화 및 지수 성분의 별도 모델링이 모두 모델 성능 향상에 기여함을 확인했다.
• 다양한 하이퍼파라미터와 사전 훈련 제도에서도 모델의 성능가 안정적이고 확장 가능함을 보여주어 안정성과 확장성의 잠재력을 입증했다.