[논문 리뷰] Improved English to Russian Translation by Neural Suffix Prediction

Kai Song, Yue Zhang외 2명|arXiv (Cornell University)|2018. 01. 11.

Natural Language Processing Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 디코딩 중에 어간과 접미사 생성을 분리함으로써 영어-러시아어 번역의 품질을 햖스키며, 형태학적으로 풍부한 언어에서의 OOV 문제를 크게 줄이는 신경 접미사 예측 방법을 제안한다. 형태학적 특성을 명시적으로 모델링함으로써 어간과 접미사 예측을 별도로 수행함으로써, RNN 및 Transformer 아키텍처 모두에서 뉴스 및 전자상거래 도메인에서 일관된 성능 향상을 이끌어내며, 기준 모델 대비 최대 1.98 BLEU 향상 달성.

ABSTRACT

Neural machine translation (NMT) suffers a performance deficiency when a limited vocabulary fails to cover the source or target side adequately, which happens frequently when dealing with morphologically rich languages. To address this problem, previous work focused on adjusting translation granularity or expanding the vocabulary size. However, morphological information is relatively under-considered in NMT architectures, which may further improve translation quality. We propose a novel method, which can not only reduce data sparsity but also model morphology through a simple but effective mechanism. By predicting the stem and suffix separately during decoding, our system achieves an improvement of up to 1.98 BLEU compared with previous work on English to Russian translation. Our method is orthogonal to different NMT architectures and stably gains improvements on various domains.

연구 동기 및 목표

• 형태학적으로 풍부한 언어인 러시아어와 같은 언어에서 신경 기계 번역(NMT)에서의 외부 어휘(Out-of-Vocabulary, OOV) 단어 문제를 해결한다.
• 어간과 접미사를 별도로 모델링하여 대상어휘의 자료 희소성 문제를 줄인다. 이는 어간 유형의 수가 어휘 유형의 수보다 훨씬 적다는 사실을 활용한다.
• 서브어휘 단위나 문자를 투명한 단위로 간주하는 것 대신, 특히 접미사를 명시적으로 형태학적 구조로 모델링함으로써 번역 품질을 향상시킨다.
• 기존의 NMT 아키텍처와 수직적(orthogonal)인 방법으로, 다양한 도메인과 모델 유형에서 일관된 성능 향상을 이룬다.
• 5000만 문장 규모의 대규모 어휘 자료(예: 전자상거래 데이터셋)를 대상으로 성능을 검증하여 확장성과 강건성을 입증한다.

제안 방법

• 대상어의 어휘 생성을 두 단계로 분해한다: 먼저 어간을 예측하고, 이전에 생성된 어간을 컨텍스트로 사용하여 접미사를 예측한다.
• 원본 대상 문장을 바탕으로 두 개의 훈련 시퀀스를 구성한다: 어간 시퀀스와 접미사 시퀀스이며, 'N'은 접미사 없음을 의미한다.
• 어간 시퀀스에 Byte Pair Encoding(BPE)를 적용하여 서브어간 어휘를 구축함으로써, 자료 희소성을 줄이면서도 형태학적 단위를 유지한다.
• 디코더가 먼저 어간을 생성하고, 어간 컨텍스트를 활용해 접미사를 예측하는 순서열 모델을 훈련함으로써 접미사 예측 정확도를 향상시킨다.
• 아키텍처의 대대적인 수정 없이도 RNN 기반 및 Transformer 기반 NMT 아키텍처에 두 단계 디코딩을 통합한다.
• 대규모 전자상거래 데이터셋(5000만 문장)을 처리하기 위해 워커 노드 간 파라미터 평균화를 활용한 분산 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 러시아어와 같은 형태학적으로 풍부한 언어에서 어간과 접미사를 명시적으로 모델링하면 번역 품질 향상이 가능한가?
• RQ2 서브어휘나 문자 수준의 기준 모델 대비 어간과 접미사 예측을 분리함으로써 자료 희소성과 OOV 비율이 감소하는가?
• RQ3 제안된 방법이 다양한 NMT 아키텍처와 도메인에서 BLEU 점수 향상에 얼마나 기여하는가?
• RQ4 전자상거래와 같은 대규모 실세계 데이터셋에서도 성능 향상이 유지되는가?
• RQ5 형태학적 문법을 다룰 때 모델의 접미사 예측 정확도가 서브어휘 및 문자 기반 기준 모델 대비 어떻게 비교되는가?

주요 결과

• RNN 기반 NMT를 사용한 뉴스 도메인에서, 제안된 방법은 서브어휘 기반 방법 대비 평균 1.75 BLEU 향상, 완전한 문자 기반 방법 대비 0.97 BLEU 향상 달성.
• Transformer 아키텍처에서 뉴스 도메인에서 제안된 방법은 서브어휘 기준 모델 대비 1.47 BLEU 향상 달성.
• 대규모 전자상거래 도메인(5000만 문장)에서 제안된 방법은 서브어휘 기준 모델 대비 0.68 BLEU 향상 달성.
• 시스템은 100% 대상어어휘 커버리지를 달성하여 OOV 문제를 완전히 제거했으며, 기준 모델과 동일한 소스어어휘 커버리지를 유지했다.
• 기준 모델 대비 어간 예측 정확도가 뚜렷이 높고, 접미사 예측 오류가 효과적으로 감소함을 확인함. 특히 시제, 격조사, 측정법 표기 등에서 정확한 표기가 이루어진 정성적 사례 분석 결과를 제시.
• 서브어휘 및 문자 기반 기준 모델에서 지속되는 형태학적 오류(예: 잘못된 반사동사 또는 복수형)를 성공적으로 수정함을 사례 연구를 통해 입증함.