[논문 리뷰] How do lexical semantics affect translation? An empirical study

Vivek Subramanian, Dhanasekar Sundararaman|arXiv (Cornell University)|2021. 12. 31.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 어휘 의미론—특히 어순과 어휘 유사도—가 신경 기계 번역(NMT) 성능에 미치는 영향을 조사한다. OpenSubtitles2016에서 영어를 기준으로 한 15개의 저자원 언어 쌍을 사용하여, 번역 성능이 영어와의 어휘 유사도가 높을수록 증가하고, 품사 품사(tagging) 지도가 어순이 유사하지 않은 언어에서 성능을 크게 향상시킨다는 것을 보여준다. 특히 Transformer 모델에서 그러한 효과가 두드러진다.

ABSTRACT

Neural machine translation (NMT) systems aim to map text from one language into another. While there are a wide variety of applications of NMT, one of the most important is translation of natural language. A distinguishing factor of natural language is that words are typically ordered according to the rules of the grammar of a given language. Although many advances have been made in developing NMT systems for translating natural language, little research has been done on understanding how the word ordering of and lexical similarity between the source and target language affect translation performance. Here, we investigate these relationships on a variety of low-resource language pairs from the OpenSubtitles2016 database, where the source language is English, and find that the more similar the target language is to English, the greater the translation performance. In addition, we study the impact of providing NMT models with part of speech of words (POS) in the English sequence and find that, for Transformer-based models, the more dissimilar the target language is from English, the greater the benefit provided by POS.

연구 동기 및 목표

• 어휘 의미론, 특히 어순과 어휘 유사도가 신경 기계 번역(NMT) 성능에 미치는 영향를 이해하는 것.
• NMT 모델의 소스 측 토큰에 대해 품사(tagging)를 명시적인 언어학적 지도로 제공했을 때의 영향을 평가하는 것.
• 다양한 언어 유형론을 고려할 때 LSTM 및 Transformer 아키텍처가 번역 처리에 어떻게 다름을 비교하는 것.
• 저자원 환경에서 소스 언어와 목표 언어 간의 언어 유사성이 번역 품질에 영향을 미치는지 평가하는 것.
• 영어와의 문법적 구조가 다를수록 품사 지도가 더 큰 이점을 제공하는지 확인하는 것.

제안 방법

• OpenSubtitles2016 데이터셋에서 영어를 기준으로 한 15개의 저자원 언어 쌍을 사용한 실증적 연구.
• 소스 측 토큰에 대해 명시적인 품사(POS) 태깅 여부에 따라 LSTM 기반 및 Transformer 기반 NMT 모델을 학습.
• 소스 및 목표 언어 양쪽에 공통된 서브워드 어휘를 사용하여 바이트 페어 인코딩(BPE) 적용.
• Sennrich와 Haddow(2016) 및 Sundararaman 등(2019)의 방법에 따라 서브워드 토큰 임베딩 뒤에 학습 가능한 POS 임베딩 벡터를 첨부.
• 각 언어 쌍의 보류된 테스트 세트에서 BLEU 점수를 사용해 번역 품질 평가.
• 목표 언어를 주로 어순(SVO, SOV, 또는 유연한)으로 분류하고, 영어와의 정규화된 레벤슈타인 거리 계산하여 어휘 유사도 측정.

실험 결과

연구 질문

• RQ1 목표 언어의 문법 어순(예: SVO 대비 SOV)이 NMT 모델의 번역 성능에 어떤 영향을 미치는가?
• RQ2 영어와 목표 언어 간의 어휘 유사성이 저자원 NMT에서 BLEU 점수에 어느 정도 영향을 미치는가?
• RQ3 소스 측 디코더에 품사(POS) 정보를 제공하면 번역 성능이 향상되는가, 특히 영어와 어순이 다를 경우에 더 그렇다면?
• RQ4 LSTM 및 Transformer 아키텍처는 어순과 어휘 유사성과 같은 언어학적 차이에 대해 어떻게 다르게 반응하는가?
• RQ5 품사 지도의 이점이 저자원, 언어학적으로 거리가 먼 언어 쌍에 대해 더 두드러지는가?

주요 결과

• BLEU 점수로 측정한 번역 성능은 영어와 목표 언어 간의 어휘 유사도가 높을수록 증가하며, 이는 정규화된 레벤슈타인 거리가 낮을수록 나타난다.
• Transformer 기반 모델에서 품사 지도의 이점은 영어의 SVO 구조와 가장 다를수록 두드러지며, 특히 실란다(Sinhala, SOV)와 바스크어(Basque, 유연한/SOV)에서 그러한 효과가 두드러진다.
• LSTM POS 모델은 힌두어(SOV)에서 베이스라인 LSTM과 동일한 BLEU 점수 22.26을 기록하여 개선 폭이 미미한 반면, Transformer POS 모델은 동일 언어에서 23.80에서 24.15로 향상되었다.
• Transformer POS 모델은 SVO 어순을 가진 카탈로니아어(Catalan)에서 베이스라인 Transformer(27.30) 대비 1.93점 향상된 BLEU 점수 29.23을 기록하여, 어순이 유사한 언어에서는 뚜렷한 성과 향상을 보였다.
• 매우 다를 수 있는 언어인 바스크어(레벤슈타인 거리 0.407)의 경우, Transformer POS 모델은 BLEU 점수를 16.60에서 17.80으로 1.2점 향상시켜, 품사 지도가 문법적 격차를 메우는 데 도움이 된다는 것을 시사한다.
• 본 연구는 어순과 어휘 유사성과 같은 언어학적 특징이 NMT 성능에 결정적인 영향을 미치며, 특히 저자원 환경에서 그러한 영향이 두드러지며, 품사 지도가 문법적으로 거리가 먼 언어 쌍에서 성능 저하를 완화시킬 수 있음을 확인한다.