[논문 리뷰] Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words

Nelson F. Liu, Jonathan May외 2명|arXiv (Cornell University)|2018. 08. 16.

Natural Language Processing Techniques참고 문헌 39인용 수 9

한 줄 요약

이 논문은 훈련 중에 볼 수 없었던 어휘 외 단어(out-of-vocabulary, OOV)를 철자적 단서를 활용해 번역함으로써 통계적 기계 번역(SMT)을 향상시키기 위한 서브워드 기반 방법을 제안한다. 편집 거리, 벡터 거리, 문자 수준의 시퀀스-투-시퀀스 모델이라는 세 가지 일반화 가능한 접근법을 도입하여 14개의 다양한 언어 유형에서 일관된 BLEU 점수 향상을 입증했으며, 평균 0.5점, 최대 2.0점의 향상이 있었고, 특히 자원이 적은 환경에서 두드러졌다.

ABSTRACT

Most statistical machine translation systems cannot translate words that are unseen in the training data. However, humans can translate many classes of out-of-vocabulary (OOV) words (e.g., novel morphological variants, misspellings, and compounds) without context by using orthographic clues. Following this observation, we describe and evaluate several general methods for OOV translation that use only subword information. We pose the OOV translation problem as a standalone task and intrinsically evaluate our approaches on fourteen typologically diverse languages across varying resource levels. Adding OOV translators to a statistical machine translation system yields consistent BLEU gains (0.5 points on average, and up to 2.0) for all fourteen languages, especially in low-resource scenarios.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 어휘 외 단어(out-of-vocabulary, OOV)를 번역하는 데 있어 지속적인 과제를 해결하기 위해.
• 인간이 형태학적 및 철자 패턴에서 번역을 유추할 수 있는 능력을 영감으로 삼아, SMT의 OOV 처리 한계를 서브워드 철자 정보를 활용해 극복하기 위해.
• 언어에 특화된 히ュ리스틱이나 광범위한 병렬 데이터에 의존하지 않는 일반적이고 언어에 관계없이 적용 가능한 OOV 번역 방법을 개발하기 위해.
• 다양한 언어에서 OOV 번역 방법의 내재된 성능을 평가하고, 전체 SMT 시스템에 통합했을 때의 영향을 분석하기 위해.
• 서브워드 수준의 추론이 훈련 데이터에 존재하지 않는 새로운 타겟 언어의 단어를 생성할 수 있음을 입증하기 위해.

제안 방법

• OOV 토큰을 훈련 데이터에 존재하는 외국어 단어와 최소 레벤슈타인 거리로 매칭하는 편집 거리 기반 방법을 사용하고, 매칭된 단어의 가장 흔한 영어 번역을 예측한다.
• 단일 언어 데이터에서 훈련된 FastText 단어 임베딩을 활용해 OOV 단어와 훈련 데이터 내 존재하는 단어 벡터 간의 코사인 유사도를 계산하고, 가장 가까운 매칭을 선택해 번역 예측을 수행한다.
• 문자 수준의 시퀀스-투-시퀀스(seq2seq) 모델을 훈련시켜 OOV 입력에서 토큰 단위로 영어 번역을 생성함으로써, 새로운 타겟 언어 단어의 조합을 가능하게 한다.
• 언어에 특화된 규칙이 필요 없이, 단일 언어 데이터, 双어어휘사전, 병렬 문장에서 추출한 단어 정렬 번역 테이블을 활용해 OOV 번역기 구축을 수행한다.
• 훈련 데이터에 포함되지 않은 별도의 검증 및 테스트 세트를 사용해, 14개 언어 쌍에서 내재적 평가를 수행한다.
• 가장 높은 성능을 보인 OOV 번역기를 문법 기반 SMT(SBMT) 시스템에 통합하고, 표준 테스트 세트에서 전체 BLEU 점수 향상을 측정한다.

실험 결과

연구 질문

• RQ1 다양한 언어에서 일반화 가능한 방식으로 서브워드 수준의 철자 유사성을 효과적으로 활용해 OOV 단어를 번역할 수 있는가?
• RQ2 편집 거리, 벡터 거리, seq2seq와 같은 다양한 서브워드 기반 OOV 번역 전략이 다양한 유형의 OOV에서 성능 면에서 어떻게 비교되는가?
• RQ3 OOV 번역기가 전체 SMT 시스템 성능을 얼마나 향상시키는가? 특히 자원이 적은 환경에서의 영향을 어떻게 평가할 수 있는가?
• RQ4 seq2seq 모델이 서브워드 단위를 재조합해 훈련 중에 볼 수 없었던 새로운 영어 단어를 생성할 수 있는가?
• RQ5 각 방법에서 가장 잘 처리할 수 있는 OOV 유형(예: 형태적 변형, 복합어, 철자 실수)은 무엇이며, 그 이유는 무엇인가?

주요 결과

• 문법 기반 SMT 시스템에 OOV 번역기를 통합함으로써 14개 언어 전반에서 일관된 BLEU 향상이 이루어졌으며, 평균 0.5 BLEU 향상과 자원이 적은 환경에서는 최대 2.0 BLEU 향상이 있었다.
• 시퀀스-투-시퀀스(seq2seq) 모델이 형태적 변형과 복합어에서 가장 높은 성능을 보였으며, 형태적 변형에서 24.6%의 정확한 매칭 정확도와 복합어에서 40.0%의 정확도를 기록해 편집 거리 및 벡터 거리 방법을 모두 앞섰다.
• 편집 거리 방법은 철자 실수에서 가장 뛰어난 성능(31.6% 정확도)을 보였고, 벡터 거리 방법은 전문명에서 더 나은 성능(20.0% 정확도)을 보였지만, seq2seq 모델이 여전히 뛰어난 성능(60.0% 정확도)을 기록했다.
• seq2seq 모델은 훈련 데이터에 존재하지 않는 새로운 영어 단어를 성공적으로 생성했으며, 예를 들어 'cyberviolence'와 'balkanized'와 같은 단어를 통해 서브워드 단위를 재조합해 새로운 타겟 언어 토큰을 생성할 수 있음을 입증했다.
• 편집 거리 방법은 이轨화 사례에서 21.4%의 정확도를 기록해 seq2seq 모델과 동일한 성능을 보였고, 벡터 거리 방법은 14.3%로 뒤져 있었다.
• 내재적 평가 결과 seq2seq 모델이 다양한 OOV 유형에서 가장 우수한 일반화 능력을 보였으며, 전체 정확도 26.0%를 기록해 편집 거리(17.0%) 및 벡터 거리(14.0%) 방법을 크게 앞섰다.