[논문 리뷰] Character-based NMT with Transformer

Rohit Gupta, Laurent Besacier외 2명|arXiv (Cornell University)|2019. 11. 12.

Natural Language Processing Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 트랜스포머 아키텍처를 사용한 문자 기반 신경 기계 번역(NMT)을 조사하며, 사전 정규화와 투명한 어텐션을 통해 깊이 있는 모델이 BPE 기반 모델과의 성능 격차를 줄임을 보여준다. 문자 수준의 모델이 노이즈와 도메인 이동에 더 강건하며, 특히 저자원 설정에서 뛰어난 성능을 발휘함을 확인했으며, 32층 인코더를 사용해 WMT-ENDE에서 34.7 BLEU를 기록했다.

ABSTRACT

Character-based translation has several appealing advantages, but its performance is in general worse than a carefully tuned BPE baseline. In this paper we study the impact of character-based input and output with the Transformer architecture. In particular, our experiments on EN-DE show that character-based Transformer models are more robust than their BPE counterpart, both when translating noisy text, and when translating text from a different domain. To obtain comparable BLEU scores in clean, in-domain data and close the gap with BPE-based models we use known techniques to train deeper Transformer models.

연구 동기 및 목표

• 문자 기반 NMT의 성능을 BPE 기반 모델과 비교하여 평가하는 것.
• 더 깊은 트랜스포머 아키텍처가 문자 수준 모델과 BPE 기반 모델 간의 성능 격차를 줄일 수 있는지 조사하는 것.
• 어휘적 노이즈와 도메인 이동 조건 하에서 문자 수준 모델의 강건성 평가.
• 어휘 크기와 모델 깊이가 저자원 및 고자원 설정에서 번역 품질에 미치는 영향 분석.

제안 방법

• 서브워드 단위(BPE) 대신 문자 수준의 입력 및 출력 토큰을 사용해 트랜스포머 모델을 훈련하는 것.
• 깊은 모델의 훈련을 안정화하기 위해 사전 정규화(레이어 정규화를 서브 레이어 이전에 적용)를 적용하는 것.
• 깊은 인코더에서 기울기 흐름을 향상시키기 위해 투명한 어텐션을 도입하는 것.
• 성능에 미치는 깊이의 영향을 평가하기 위해 다양한 깊이(6~32층)로 모델을 훈련하는 것.
• 청결한 테스트 조건과 노이즈가 있는 테스트 조건 모두에서 WMT-ENDE 및 IWSLT-TED에서 평가하는 것.
• 다양한 BPE 어휘 크기(5k, 30k)와 문자 수준 모델을 사용해 표현 효율성 비교.

실험 결과

연구 질문

• RQ1 더 깊은 트랜스포머 모델이 문자 수준과 BPE 기반 NMT 간의 BLEU 점수 격차를 좁힐 수 있는가?
• RQ2 문자 수준 NMT는 BPE 기반 모델에 비해 어휘적 노이즈 조건에서 어떻게 성능을 내는가?
• RQ3 문자 수준 NMT는 BPE 기반 모델보다 도메인 이동된 테스트 데이터에 더 잘 일반화되는가?
• RQ4 모델 깊이와 정규화 순서가 문자 수준 NMT의 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 다양한 어휘 크기는 저자원 및 고자원 설정에서 성능에 어떤 영향을 미치는가?

주요 결과

• 사전 정규화와 투명한 어텐션을 적용한 문자 수준 트랜스포머 모델은 저자원 설정에서 WMT-ENDE에서 34.7 BLEU를 기록했으며, 얕은 모델 대비 33.7 BLEU에서 향상됨.
• 고자원 설정에서는 32층 인코더를 사용한 문자 수준 모델이 37.7 BLEU를 기록했으며, 성능 격차는 줄었지만 BPE 30k 기준선(38.0 BLEU)을 넘지 못함.
• 청결한 테스트 데이터에서 문자 수준 모델은 어휘적 노이즈에 대해 BPE 모델보다 더 뛰어난 강건성을 보였으며, 즉시 성능을 내는 경향이 있었음.
• 훈련 데이터에 유사한 노이즈가 포함되어 있을 경우, BPE 모델은 큰 어휘 크기(예: 30k)로 인해 정규화 효과를 얻어 청결한 입력에서 성능 향상을 보였음.
• 특히 저자원 설정에서 도메인 이동된 데이터에서 문자 수준 모델은 BPE 모델을 크게 앞서며, WMT-Biomedical(가장 높은 OOV 비율)에서 더 우수한 일반화 성능을 보임.
• 사전 정규화와 투명한 어텐션의 조합은 깊이 32층 인코더의 안정적인 훈련을 가능하게 하여 문자 수준 트랜스포머에서 기울기 문제를 해결함.