[논문 리뷰] Fully Character-Level Neural Machine Translation without Explicit Segmentation

Jason D. Lee, Kyunghyun Cho외 1명|arXiv (Cornell University)|2016. 10. 10.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 명시적인 분할 없이 원천 문자 시퀀스를 직접 목표 문자 시퀀스로 매핑하는 완전한 문자 수준의 신경 기계 번역 모델을 제안한다. 최대 풀링과 하이웨이 레이어를 갖춘 문자 수준의 컨볼루션 인코더를 사용함으로써, 이 모델는 서브워드 수준의 모델들과 비교할 만한 학습 속도를 달성하고, 특히 FI-EN, RU-EN과 같은 저자원 쌍에서 더 뛰어난 성능을 보이며, 문장 내 코드 스위칭을 원활하게 처리할 수 있다.

ABSTRACT

Most existing machine translation systems operate at the level of words, relying on explicit segmentation to extract tokens. We introduce a neural machine translation (NMT) model that maps a source character sequence to a target character sequence without any segmentation. We employ a character-level convolutional network with max-pooling at the encoder to reduce the length of source representation, allowing the model to be trained at a speed comparable to subword-level models while capturing local regularities. Our character-to-character model outperforms a recently proposed baseline with a subword-level encoder on WMT'15 DE-EN and CS-EN, and gives comparable performance on FI-EN and RU-EN. We then demonstrate that it is possible to share a single character-level encoder across multiple languages by training a model on a many-to-one translation task. In this multilingual setting, the character-level encoder significantly outperforms the subword-level encoder on all the language pairs. We observe that on CS-EN, FI-EN and RU-EN, the quality of the multilingual character-level translation even surpasses the models specifically trained on that language pair alone, both in terms of BLEU score and human judgment.

연구 동기 및 목표

• 명시적인 단어 분할에 의존하지 않고 완전히 문자 수준에서 작동하는 신경 기계 번역 시스템을 개발하는 것.
• 형태소가 풍부한 언어에서 드물게 나타나는 단어와 OOV(어휘에 없는 단어)를 처리하는 데 있어 단어 수준의 모델의 한계를 극복하는 것.
• 다대일 다국어 번역 설정에서 단일 문자 수준 인코더가 여러 언어 간에 공유될 수 있는지 조사하는 것.
• 저자원 언어 쌍에 대해 일반화 능력을 보이고, 명시적인 언어 식별 없이 문장 내 코드 스위칭을 처리할 수 있는지 평가하는 것.

제안 방법

• 최대 풀링과 하이웨이 레이어를 갖춘 문자 수준의 컨볼루션 인코더를 사용하여 시퀀스 길이를 줄이고 학습 효율성을 향상시킨다.
• 인코더는 원시 문자 시퀀스를 처리하고 국소적인 규칙성과 형태학적 패턴을 포착하는 문맥적 표현을 생성한다.
• 주의 메커니즘을 갖춘 양방향 RNN 기반 디코더가 인코더의 문맥 벡터에 조건부로 하나씩 목표 문자를 생성한다.
• 다국어 학습을 위해 단일 문자 수준 인코더를 여러 원천 언어(독일어, 체코어, 핀란드어, 러시아어) 간에 공유하고, 모두 영어로 번역한다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습하고, 배치 정규화와 드롭아웃을 적용한 확률적 경사 하강법으로 최적화한다.
• BLEU 점수와 인간 평가를 사용하여 시스템을 평가하며, 코드 스위칭 및 저자원 환경에서의 추론에 대한 분석 연구를 실시한다.

실험 결과

연구 질문

• RQ1 명시적인 분할 없이도 서브워드 수준의 모델과 경쟁 가능한 성능을 달성할 수 있는 완전한 문자 수준의 NMT 모델은 가능한가?
• RQ2 여러 언어 간에 공유되는 문자 수준의 인코더가 FI-EN 및 RU-EN과 같은 저자원 언어 쌍에서 성능 향상에 기여하는가?
• RQ3 명시적인 언어 식별 없이도 문장 내 코드 스위칭이 포함된 문장을 정확하게 번역하고 일반화할 수 있는가?
• RQ4 서브워드 수준의 이원화 모델 대비 문자 수준의 다국어 모델의 파라미터 효율성은 어떻게 비교되는가?

주요 결과

• DE-EN 및 CS-EN에서 문자 수준의 모델은 서브워드 수준의 베이스라인을 능가하여 더 높은 BLEU 점수를 기록하고 드문 단어 처리 능력이 뛰어나다.
• FI-EN 및 RU-EN에서는 문자 수준의 모델가 서브워드 수준의 베이스라인과 유사한 성능을 보이며, 다국어 학습에서 상당한 향상을 보였다.
• FI-EN, CS-EN, RU-EN에서 BLEU 점수와 인간 평가 모두에서 이원화 서브워드 수준 모델과 이원화 문자 수준 모델을 모두 초월하는 다국어 문자 수준 모델의 성능을 입증했다.
• 모델는 문장 내 코드 스위칭에 대해 강력한 일반화 능력을 보이며, 언어 식별 없이도 혼합 언어 입력을 일관된 영어 출력으로 번역할 수 있었다.
• 다중 작업 학습에서의 정규화 효과로 인해, 특히 FI-EN과 같은 저자원 쌍에서 과적합의 위험이 줄어들었다.
• 문자 수준의 모델 학습은 서브워드 수준의 베이스라인 대비 약 35% 느리지만, 단일 GPU에서 두 주 내로 실행 가능한 수준이었다.