[논문 리뷰] Neural Machine Translation with Byte-Level Subwords

Changhan Wang, Kyunghyun Cho외 1명|arXiv (Cornell University)|2019. 09. 07.

Natural Language Processing Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 UTF-8 바이트를 기본 단위로 사용하는 바이트 수준 BPE(BBPE)를 제안한다. BBPE는 문자 수준 BPE 대비 어휘 크기를 1/8로 줄이면서도 유사한 번역 성능을 유지한다. 컨볼루션 또는 순환층을 통해 BBPE 임베딩을 문맥화함으로써, 어휘 외 토큰 없이 효율적인 번역이 가능해지고, 서로 겹치지 않는 문자 집합을 가진 언어 간의 전이 학습도 가능해져, 제로샷 적응 능력이 크게 향상된다.

ABSTRACT

Almost all existing machine translation models are built on top of character-based vocabularies: characters, subwords or words. Rare characters from noisy text or character-rich languages such as Japanese and Chinese however can unnecessarily take up vocabulary slots and limit its compactness. Representing text at the level of bytes and using the 256 byte set as vocabulary is a potential solution to this issue. High computational cost has however prevented it from being widely deployed or used in practice. In this paper, we investigate byte-level subwords, specifically byte-level BPE (BBPE), which is compacter than character vocabulary and has no out-of-vocabulary tokens, but is more efficient than using pure bytes only is. We claim that contextualizing BBPE embeddings is necessary, which can be implemented by a convolutional or recurrent layer. Our experiments show that BBPE has comparable performance to BPE while its size is only 1/8 of that for BPE. In the multilingual setting, BBPE maximizes vocabulary sharing across many languages and achieves better translation quality. Moreover, we show that BBPE enables transferring models between languages with non-overlapping character sets.

연구 동기 및 목표

• 일본어나 중국어처럼 자원이 적고 문자가 풍부한 언어에서 문자 수준 서브워드 토크나이제이션으로 인한 비효율성과 어휘 과잉 문제를 해결하기 위해.
• 문자 수준 BPE의 더 컴팩트하고 언어에 종속되지 않는 대안으로 바이트 수준 서브워드 분할을 탐색하기 위해.
• 어휘 외 토큰을 제거함으로써, 서로 겹치지 않는 문자 집합을 가진 언어 간의 모델 전이를 가능하게 하기 위해.
• 이중어, 다국어 및 제로샷 전이 학습 설정에서 BBPE의 성능과 효율성을 평가하기 위해.

제안 방법

• 텍스트를 바이트 시퀀스(0–255)로 표현하기 위해 UTF-8 인코딩을 사용하여 기본 어휘를 구성한다.
• 바이트 수준 BPE(BBPE)는 바이트 시퀀스에서 학습되며, 가변 길이의 바이트 n-그램을 서브워드 단위로 생성한다.
• 컨볼루션 또는 양방향 GRU를 사용하여 BBPE 임베딩을 문맥화함으로써 표현 학습을 향상시킨다.
• 유효한 유니코드 문자를 바이트 시퀀스에서 복원하기 위해 동적 프로그래밍 기반 복호화 알고리즘을 사용하여 출력 정확성을 보장한다.
• BBPE 토크나이제이션과 문맥화된 임베딩을 사용한 Transformer 아키텍처로 모델을 훈련시킨다.
• 원본 어휘에 겹치는 문자가 없는 언어(Sinhala)에서 다국어 BBPE 모델을 미세조정하여 전이 학습을 평가한다.

실험 결과

연구 질문

• RQ1 바이트 수준 서브워드 토크나이제이션이 문자 수준 BPE와 유사한 번역 품질을 달성하면서도 어휘 크기를 줄일 수 있는가?
• RQ2 컨볼루션 또는 RNN을 통해 BBPE 임베딩을 문맥화하면 모델 성능이 향상되는가?
• RQ3 BBPE 기반 모델은 서로 겹치지 않는 문자 집합을 가진 언어로 효과적으로 전이될 수 있는가?
• RQ4 다국어 번역 설정에서 BBPE는 문자 수준 BPE에 비해 어떻게 성능을 내는가?
• RQ5 짧은 시퀀스 길이로 인해 BBPE가 훈련 및 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• BBPE는 BPE와 유사한 BLEU 점수를 달성하면서 어휘 크기를 1/8로 줄였고, 영어-독일어 번역에서 BBPE 4K가 BPE 8K 성능을 재현했다.
• 다국어 X-En 설정에서 BBPE는 전체 테스트 세트(165K 예제)에서 BLEU 점수 31.61을 기록했으며, 평균 및 자원이 적은 언어 성능 모두에서 BPE를 능가했다.
• 다국어 X-En 모델에서 싱할라어-영어(Si-En)로의 전이 학습은 0.9–1.8 BLEU 포인트의 향상을 가져왔으며, 서로 겹치지 않는 문자 집합 간의 효과적인 제로샷 적응을 입증했다.
• BiGRU 또는 깊이 분리 컨볼루션을 통해 문맥화된 BBPE 모델은 원시 BBPE 임베딩보다 성능이 향상되었으며, 문맥 모델링의 필요성을 확인했다.
• BBPE는 문자 수준 토크나이제이션 대비 시퀀스 길이를 줄여, 짧은 입력 시퀀스로 인해 더 빠른 훈련과 추론을 가능하게 했다.
• 추론 중에 잘못된 UTF-8 출력은 극히 드물며, 동적 프로그래밍 복호화 알고리즘이 고유한 해답을 가진 유효한 문자 시퀀스를 성공적으로 복원했다.