[논문 리뷰] Bridging Neural Machine Translation and Bilingual Dictionaries

Jiajun Zhang, Chengqing Zong|arXiv (Cornell University)|2016. 10. 24.

Natural Language Processing Techniques참고 문헌 33인용 수 46

한 줄 요약

이 논문은 신경 기계 번역(NMT)에 이중어 사전—특히 희귀어 또는 OOV(훈련 데이터에 없는 단어)를 포함한 사전—을 통합하기 위한 두 가지 방법을 제안한다. 첫 번째 방법은 희귀어를 문자 시퀀스로 재표현하는 혼합 단어/문자 모델을 사용하며, 두 번째 방법은 번역 어휘의 빈도적 노출을 보장하기 위해 가짜 문장 쌍을 합성하는 것이다. 실험 결과, 두 방법 모두 번역 품질을 크게 향상시키며, 사전에 포함된 경우 70퍼센트 이상의 희귀어나 알려지지 않은 단어가 정확히 번역됨을 보여준다.

ABSTRACT

Neural Machine Translation (NMT) has become the new state-of-the-art in several language pairs. However, it remains a challenging problem how to integrate NMT with a bilingual dictionary which mainly contains words rarely or never seen in the bilingual training data. In this paper, we propose two methods to bridge NMT and the bilingual dictionaries. The core idea behind is to design novel models that transform the bilingual dictionaries into adequate sentence pairs, so that NMT can distil latent bilingual mappings from the ample and repetitive phenomena. One method leverages a mixed word/character model and the other attempts at synthesizing parallel sentences guaranteeing massive occurrence of the translation lexicon. Extensive experiments demonstrate that the proposed methods can remarkably improve the translation quality, and most of the rare words in the test sentences can obtain correct translations if they are covered by the dictionary.

연구 동기 및 목표

• 훈련 데이터에 존재하지 않는 희귀어나 OOV(훈련 데이터에 없는 단어)를 번역하는 데 도전하는 문제를 해결하기 위해.
• 병행 훈련 데이터에서 거의나마 등장하지 않는 단어를 포함한 이중어 사전을 NMT 시스템에 통합하기 위해.
• 다양한 번역 어휘가 대량으로 반복적으로 노출되도록 하는 데이터 변환 메커니즘을 설계하여, NMT가 정확한 이중어 매핑을 학습할 수 있도록 하기 위해.
• 특히 저빈도어 및 알려지지 않은 단어를 다룰 때 강력한 베이스라인 NMT 모델을 능가하기 위해.
• 가짜 데이터와 문자 수준의 모델링이 희귀어에 대한 번역 품질 향상에 효과적으로 기여하는지 평가하기 위해.

제안 방법

• 희귀어나 OOV 단어를 문자 시퀀스로 재표기하는 혼합 단어/문자 모델을 제안하여, NMT가 서브워드 수준의 번역 매핑을 학습할 수 있도록 한다.
• 각 번역 어휘 쌍에 대해 대규모의 가짜 문장 쌍을 생성하는 데이터 합성 모델을 설계하여, 훈련 중에 희귀어 번역어가 빈번히 나타나도록 보장한다.
• 스택드 LSTMs를 사용한 어텐션 기반 NMT를 기본 모델로 사용하며, 컨텍스트 벡터는 스택드 LSTM 레이어를 통해 계산되고 디코딩 중 어텐션 메커니즘이 적용된다.
• OOV 단어를 문자 수준으로 인코딩하여, 모델이 알려지지 않은 단어 형태로 일반화할 수 있도록 한다.
• 혼합 모델과 데이터 합성 모델을 융합한 하이브리드 접근법을 제안하여, 두 모델의 장점을 활용해 더 높은 견고성과 커버리지 확보를 도모한다.
• 이중 단계 훈련 전략을 적용: 먼저 가짜 데이터에서 사전 훈련을 수행하고, 이후 실제 이중어 데이터에서 미세조정하여 SMT가 생성한 번역의 노이즈를 최소화한다.

실험 결과

연구 질문

• RQ1 데이터 변환을 통해 훈련 데이터에 빈번히 등장하도록 조정된 경우, NMT가 희귀어나 OOV 단어의 번역 매핑을 효과적으로 학습할 수 있는가?
• RQ2 이중어 사전을 NMT에 통합하는 데 있어 혼합 단어/문자 모델과 데이터 합성 기반 접근법 간의 성능 비교는 어떻게 되는가?
• RQ3 가짜 문장 쌍은 원래 훈련 데이터에 존재하지 않는 희귀어의 번역 품질 향상에 어느 정도 기여하는가?
• RQ4 혼합 모델과 데이터 합성 모델을 결합하면 개별적으로 사용할 때보다 더 나은 성능을 내는가?
• RQ5 제안된 방법들은 특히 OOV 단어 처리에 있어 강력한 베이스라인 NMT 모델보다 상당한 향상을 이룰 수 있는가?

주요 결과

• 데이터 합성 모델이 혼합 단어/문자 모델보다 희귀어 및 OOV 단어 번역에서 뚜렷이 뛰어난 성능을 보이며, 더 높은 BLEU 점수를 기록한다.
• 데이터 합성 모델과 혼합 모델을 융합한 하이브리드 모델이 전체적으로 가장 뛰어난 성능을 보이며, 어휘 크기가 제한된 조건에서 기준 NMT 모델보다 0.88 BLEU 포인트 향상되었다.
• 테스트 세트에 포함된 희귀어나 알려지지 않은 단어 중 70퍼센트 이상이 이중어 사전에 포함되어 있다면 정확히 번역되며, 이는 OOV 단어에 대한 강력한 일반화 능력을 보여준다.
• 성능 향상은 어휘 크기 증가 때문이 아니며, 어휘 크기를 줄인 제어 실험에서 0.88 BLEU 포인트 감소가 관찰되어 제안된 방법의 효과성을 확인한다.
• SMT가 생성한 번역을 사용한 가짜 데이터를 활용한 방법은, 가짜 타겟 측에 노이즈가 포함되어 있어도 사전 지식을 효과적으로 통합할 수 있다.