[논문 리뷰] Investigating the Limitations of Transformers with Simple Arithmetic Tasks

Rodrigo Nogueira, Zhiying Jiang외 1명|arXiv (Cornell University)|2021. 02. 25.

Neural Networks and Applications참고 문헌 48인용 수 31

한 줄 요약

논문은 숫자의 표면 표현이 트랜스포머의 산술 학습에 결정적으로 영향을 준다는 것을 보여주며; 적절한 위치 인식 표현을 사용하면 모델이 매우 긴 숫자에 대한 덧셈/뺄셈을 학습할 수 있는 반면, 표준 토큰화는 어려움을 겪고, 외삽은 여전히 도전적이다.

ABSTRACT

The ability to perform arithmetic tasks is a remarkable trait of human intelligence and might form a critical component of more complex reasoning tasks. In this work, we investigate if the surface form of a number has any influence on how sequence-to-sequence language models learn simple arithmetic tasks such as addition and subtraction across a wide range of values. We find that how a number is represented in its surface form has a strong influence on the model's accuracy. In particular, the model fails to learn addition of five-digit numbers when using subwords (e.g., "32"), and it struggles to learn with character-level representations (e.g., "3 2"). By introducing position tokens (e.g., "3 10e1 2"), the model learns to accurately add and subtract numbers up to 60 digits. We conclude that modern pretrained language models can easily learn arithmetic from very few examples, as long as we use the proper surface representation. This result bolsters evidence that subword tokenizers and positional encodings are components in current transformer designs that might need improvement. Moreover, we show that regardless of the number of parameters and training examples, models cannot learn addition rules that are independent of the length of the numbers seen during training. Code to reproduce our experiments is available at https://github.com/castorini/transformers-arithmetic

연구 동기 및 목표

• 간단한 산술(덧셈/뺄셈)에 대한 변환기 학습에 영향을 미치는 숫자의 서로 다른 표면 표현을 평가한다.
• 입력에 명시적 위치 의미를 주입하여 재학습 없이 산술 능력을 개선할 수 있는지 조사한다.

제안 방법

• 입력 템플릿 'What is [number1] [operation] [number2]?'과 같은 형식을 사용하여 덧셈과 뺄셈을 시퀀스-대-시퀀스 문제로 구성한다.
• 여섯 가지 숫자 표현(십진수, 문자, 고정 문자, 밑줄, 단어, 10진 위치 토큰, 10e 기반)을 모델 정확도에 대해 체계적으로 비교한다.
• 균형 또는 무작위 샘플링으로 학습된 다양한 크기의 T5 모델과 일반 트랜스포머를 사용하여 정확도를 게재하고, 탐욕 디코딩으로 측정한다.
• 표현 방식과 사전 학습의 영향을 분석하고, 외삽/내삽 및 위치 임베딩에 대한 부록 실험을 통해 사전학습의 영향을 비교한다.

실험 결과

연구 질문

• RQ1 숫자의 표면 형식이 트랜스포머 모델의 간단한 산술 학습에 어떤 영향을 미치는가?
• RQ2 명시적인 위치 기반 표현(10진 기반 및 10e 기반)이 매우 긴 숫자에 대해 정확한 덧셈/뺄셈을 가능하게 할 수 있는가?
• RQ3 더 큰 모델이나 더 많은 데이터가 산술 과제에서 표현 방식에 따른 학습 한계를 극복하는가?
• RQ4 보지 않은 숫자 길이에 대한 외삽이 다양한 표현과 모델 규모에서 가능한가?

주요 결과

• 십진수 및 부분어 토큰화는 더 긴 숫자의 산술 학습을 저해하여, 5자리 덧셈 이상에서 정확도가 0으로 떨어진다.
• 문자 및 밑줄 표현은 학습을 개선하지만 숫자 길이가 증가할수록 여전히 악화되며, 약 12–15자리 정도를 넘으면 암기 전략이 실패한다.
• 10진 기반 및 10e 기반 표현과 위치 토큰은 메인 결과에서 60자리 숫자까지 거의 완벽한 정확도를 가능하게 한다(본문은 토의에서 최대 60자리로 명시한다).
• 고정 문자 표현은 더 긴 숫자에서 문자/밑줄보다 우수하지만 결국 약 15자리에서 깨진다.
• 사전학습과 표현은 상호 작용한다; 단어 표현은 고유 위치 토큰의 이점을 얻지만 매우 긴 숫자에는 토큰 길이 제한으로 실패한다; 10진 기반/10e 기반 표현은 적절한 위치 지정과 함께 높은 정확도를 제공한다.
• 외삽은 많은 모델에서 여전히 도전적이다; 3B 매개변수 모델조차도 학습 길이 분포와 무관한 산술 규칙 학습에 어려움을 겪는다.