[논문 리뷰] Attending to Mathematical Language with Transformers

Artit Wangperawong|arXiv (Cornell University)|2018. 12. 05.

Topic Modeling참고 문헌 16인용 수 21

한 줄 요약

이 논문은 수학적 표현을 문자 수준의 시퀀스 변환 작업으로 이해하고 평가할 수 있도록 트랜스포머 기반 모델을 훈련시키는 것을 제안한다. 순환 구조나 컨볼루션 없이 자기주의 기반 메커니즘을 사용하여, 양수 및 음수 소수를 포함한 기호 수식을 평가하는 데 최대 84.9%의 정확도를 달성하며, 오류는 일반적으로 정답 출력과 한 글자 또는 두 글자만 다를 뿐이다.

ABSTRACT

Mathematical expressions were generated, evaluated and used to train neural network models based on the transformer architecture. The expressions and their targets were analyzed as a character-level sequence transduction task in which the encoder and decoder are built on attention mechanisms. Three models were trained to understand and evaluate symbolic variables and expressions in mathematics: (1) the self-attentive and feed-forward transformer without recurrence or convolution, (2) the universal transformer with recurrence, and (3) the adaptive universal transformer with recurrence and adaptive computation time. The models respectively achieved test accuracies as high as 76.1%, 78.8% and 84.9% in evaluating the expressions to match the target values. For the cases inferred incorrectly, the results differed from the targets by only one or two characters. The models notably learned to add, subtract and multiply both positive and negative decimal numbers of variable digits assigned to symbolic variables.

연구 동기 및 목표

• 트랜스포머 아키텍처가 문자 수준에서 수학적 표현을 효과적으로 이해하고 평가하는 데 학습할 수 있는지 조사하기.
• 표준, 일반적, 적응형 일반 트랜스포머의 성능을 기호 수학 추론 작업에서 평가하기.
• 변수 길이의 소수를 다루며 양수 및 음수 값을 모두 처리할 수 있는 모델의 일반화 능력 평가하기.
• 오류 패턴을 분석하고 잘못된 추론 상황에서 예측의 강건성 평가하기.

제안 방법

• 모델들은 수학적 표현과 그 목표 값들을 문자 수준의 시퀀스 변환 작업으로 간주한다.
• 인코더와 디코더는 순환 구조나 컨볼루션 없이 다중 헤드 자기주의와 피드포워드 네트워크로만 구성된다.
• 세 가지 변종을 훈련한다: 표준 트랜스포머, 순환 구조가 있는 유니버설 트랜스포머, 적응형 계산 시간이 있는 적응형 유니버설 트랜스포머.
• 할당된 변수와 해당 평가 결과가 포함된 기호 수학 표현 데이터셋을 사용해 모델을 훈련한다.
• 예측된 시퀀스와 목표 시퀀스 간의 차이를 최소화하기 위해 교차 엔트로피 손실을 사용한다.
• 평가에서는 정확히 일치하는 정확도와 잘못된 예측에 대한 문자 수준 오류 분석에 중점을 둔다.

실험 결과

연구 질문

• RQ1 표준 트랜스포머는 높은 정확도로 기호 수학 표현을 평가하는 데 학습할 수 있는가?
• RQ2 유니버설 트랜스포머에 순환 구조를 포함시키면 수학 추론 작업 성능에 어떤 개선을 이끌 수 있는가?
• RQ3 적응형 유니버설 트랜스포머의 적응형 계산 시간이 모델 정확도와 효율성에 어느 정도 향상 기여하는가?
• RQ4 예측 오류 패턴은 참값과 어떻게 비교되며, 이는 모델의 일반화 능력에 대해 무엇을 드러내는가?

주요 결과

• 적응형 유니버설 트랜스포머는 수학적 표현 평가에서 가장 높은 테스트 정확도 84.9%를 기록했다.
• 유니버설 트랜스포머는 표준 트랜스포머를 능가하여 78.8%의 정확도를 달성했으며, 순환 구조의 이점이 있음을 시사한다.
• 표준 트랜스포머는 76.1%의 정확도를 기록했으며, 순환 구조가 없는 자기주의 메커니즘이 기호 수학 작업을 처리할 수 있음을 보여준다.
• 잘못 예측된 표현에 대해서는 모델 출력이 참값과 한 글자 또는 두 글자만 다를 뿐이었으며, 이는 오류 패턴에서 높은 정밀도를 의미한다.
• 모델들은 양수 및 음수 소수를 포함한 다양한 자릿수 길이의 수에 대해 덧셈, 뺄셈, 곱셈을 성공적으로 수행하는 데 학습했다.
• 결과적으로 자기주의 메커니즘이 시퀀스 변환 작업으로 적절히 구성된 경우 기호 수학 추론에 효과적임을 시사한다.