[논문 리뷰] Solving Math Word Problems with Double-Decoder Transformer

Yuanliang Meng, Anna Rumshisky|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 12인용 수 4

한 줄 요약

이 논문은 복사 또는 정렬 메커니즘 없이 방정정식을 생성하는 데를 위한 더블디코더 트랜스포머 모델을 제안한다. 이 모델은 공유 인코더를 공유하는 두 개의 디코더—한쪽은 왼쪽에서 오른쪽으로, 다른 한쪽은 오른쪽에서 왼쪽으로 작동하는 방식으로, 공동으로 훈련된다. 모델은 MLE 기반으로 21.7%의 정확도와 RL 기반으로 22.1%의 정확도를 기록하며, RNN과 단일 디코더 트랜스포머를 능가한다. 이는 양방향 디코딩이 복합 추론 없이도 훈련과 일반화를 향상시킬 수 있음을 보여준다.

ABSTRACT

This paper proposes a Transformer-based model to generate equations for math word problems. It achieves much better results than RNN models when copy and align mechanisms are not used, and can outperform complex copy and align RNN models. We also show that training a Transformer jointly in a generation task with two decoders, left-to-right and right-to-left, is beneficial. Such a Transformer performs better than the one with just one decoder not only because of the ensemble effect, but also because it improves the encoder training procedure. We also experiment with adding reinforcement learning to our model, showing improved performance compared to MLE training.

연구 동기 및 목표

• 복사 또는 정렬 메커니즘에 의존하지 않고 단어 문제에서 정확한 수학적 방정식을 생성하는 신경 시퀀스-투-시퀀스 모델을 개발하는 것.
• 반대 방향으로 작동하는 두 개의 디코더를 갖춘 트랜스포머를 훈련함으로써 단일 디코더보다 성능 향상이 이루어지는지 조사하는 것.
• 양방향 디코더를 공동으로 훈련함으로써 인코더 표현 학습과 전체 방정식 생성 품질에 미치는 영향을 평가하는 것.
• 최대우도추정(MLE)을 초월해 강화학습이 이 작업에서 성능 향상에 기여하는지 평가하는 것.
• Dolphin18K 데이터셋에서 최신의 검색 기반 및 하이브리드 RNN 모델과의 성능 비교를 수행하는 것.

제안 방법

• 공유 인코더를 공유하는 두 개의 디코더—왼쪽에서 오른쪽, 오른쪽에서 왼쪽으로 각각 작동하는 트랜스포머 기반 시퀀스-투-시퀀스 아키텍처를 사용한다.
• 음수, (0,1) 범위의 실수, 나머지 수치값을 포함한 세 가지 유형의 숫자 토큰을 사용하여 입력 및 출력 시퀀스의 수치값을 표현함으로써 직접적인 토큰 복사 방지를 방지한다.
• 교차엔트로피 손실을 사용하는 최대우도추정(MLE)을 통해 훈련하며, 인코더는 두 디코더의 손실 합산 기반으로 최적화된다.
• MLE 훈련 이후 강화학습(REINFORCE)을 적용하여, SymPy 기반의 방정식 정확도를 보상 신호로 사용해 모델을 보정한다.
• 추론 시에는 범위 크기 10의 비트 서치를, RL 샘플링 시에는 범위 크기 6을 사용하며, 보상은 N개의 샘플 출력에 대한 평균 정확도로 계산된다.
• 입력 텍스트에 대해 GloVe 840B 300d 단어 임베딩을 사용하며, 트랜스포머 차원과 일치시키기 위해 임베딩 이후 512차원 피드포워드 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 복사 또는 정렬 메커니즘이 없는 단일 디코더 트랜스포머보다, 양방향으로 작동하는 두 디코더(왼쪽에서 오른쪽 및 오른쪽에서 왼쪽)를 갖춘 트랜스포머 모델이 방정식 생성 성능을 향상시키는가?
• RQ2 양방향 디코더를 공동으로 훈련함으로써, 추론 시 한 디코더의 출력만 사용하더라도 인코더 표현 학습이 향상되는가?
• RQ3 강화학습이 MLE 훈련을 초월해 트랜스포머 기반 방정식 생성기의 성능 향상에 얼마나 기여하는가?
• RQ4 Dolphin18K 데이터셋에서 제안된 모델의 정확도는 최신의 검색 기반 및 하이브리드 RNN 모델과 비교해 어떻게 되는가?
• RQ5 복사 및 정렬 메커니즘이 없는 것이 성능에 악영향을 주는가, 아니면 모델이 충분히 일반화되어 있어 더 복잡한 RNN 기반 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 더블디코더 트랜스포머는 MLE 훈련을 통해 21.7%의 정확도를 기록하며, 단일 디코더 트랜스포머(19.4%)와 복사/정렬 메커니즘이 없는 모든 RNN 기반 모델보다 뚜렷이 뛰어나다.
• 앙상블 투표 없이도 한 디코더의 출력만 사용할 경우, 왼쪽에서 오른쪽 방향은 20.6%, 오른쪽에서 왼쪽 방향은 20.2%의 정확도를 기록하며, 이는 상호 보완적 지도 학습 덕분에 인코더 훈련이 향상되었음을 시사한다.
• 강화학습은 성능을 22.1%로 향상시켜 MLE 훈련 이후 일반화 능력 향상이 추가로 이루어졌음을 보여준다.
• 복사 및 정렬 메커니즘을 사용하지 않았음에도 불구하고, 이러한 모듈을 갖춘 RNN 모델, 특히 최고 성능을 낸 RNN 모델(23.3%의 정확도, RL 및 복사/정렬 기능 포함)을 능가한다.
• 최고의 검색 기반 시스템(예: 하이브리드 GRU+복사+정렬+RL 기반 33.2%)을 능가하지 못하는 것은 데이터셋 내 정확도가 낮은 진짜 방정식(annotation) 때문으로 보인다.
• 결과적으로, 더 잘 정제된 방정식 주석(annotation)이 존재할 경우 생성 모델의 성능 향상이 크게 이뤄질 수 있음을 시사하며, 현재의 방정식들은 유도 과정의 명확성 부족이나 추적 불가능한 값 포함 등으로 인해 품질이 떨어진다.