[논문 리뷰] Cross-Lingual Word Embeddings for Turkic Languages

Elmurod Kuriyozov, Yerai Doval외 1명|arXiv (Cornell University)|2020. 05. 17.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 투르크어 계열의 저자원 언어인 터키어, 우즈베크어, 아azer바이잔어, 카자흐어, 키르기즈어 5개 언어에 대한 다국어 단어 임베딩에 대한 최초의 종합적 연구를 제시한다. 단어별 fastText 임베딩과 최신 정렬 기법(MUSE, VecMap, Meemi)을 사용하여 수행되었으며, 자원이 풍부하고 관련성이 높은 언어(터키어)를 기반으로 정렬하는 것이 이중어 사전 유도 및 감성 분석 성능을 크게 향상시킴을 입증하였다. Meemi가 VecMap에 의해 개선된 정렬 기법이 가장 뛰어난 성능을 보였으며, 이는 문법적으로 복잡한 저자원 언어가 관련성이 높은 고자원 언어를 통해 다국어 지식 전이를 유의미하게 받을 수 있음을 보여준다.

ABSTRACT

There has been an increasing interest in learning cross-lingual word embeddings to transfer knowledge obtained from a resource-rich language, such as English, to lower-resource languages for which annotated data is scarce, such as Turkish, Russian, and many others. In this paper, we present the first viability study of established techniques to align monolingual embedding spaces for Turkish, Uzbek, Azeri, Kazakh and Kyrgyz, members of the Turkic family which is heavily affected by the low-resource constraint. Those techniques are known to require little explicit supervision, mainly in the form of bilingual dictionaries, hence being easily adaptable to different domains, including low-resource ones. We obtain new bilingual dictionaries and new word embeddings for these languages and show the steps for obtaining cross-lingual word embeddings using state-of-the-art techniques. Then, we evaluate the results using the bilingual dictionary induction task. Our experiments confirm that the obtained bilingual dictionaries outperform previously-available ones, and that word embeddings from a low-resource language can benefit from resource-rich closely-related languages when they are aligned together. Furthermore, evaluation on an extrinsic task (Sentiment analysis on Uzbek) proves that monolingual word embeddings can, although slightly, benefit from cross-lingual alignments.

연구 동기 및 목표

• 저자원 투르크어 계열 언어(우즈베크어, 아azer바이잔어, 카자흐어, 키르기즈어 포함)에 대한 자연어 처리 자원의 부족 문제를 해결하기 위해.
• 실제 저자원 환경에서 다국어 단어 임베딩 정렬 기법의 실현 가능성 평가를 위해.
• 웹 크롤링 및 기계 번역 데이터를 활용하여 투르크어 계열 언어의 단일 언어 임베딩과 双어 사전을 향상시키기 위해.
• 관련성이 높고 자원이 풍부한 언어(터키어)를 기반으로 한 다국어 정렬이 내재적 및 외재적 NLP 작업 성능을 향상시키는지 평가하기 위해.
• 투르크어 계열 언어 가족을 위한 새로운 고품질 双어 사전과 단일 언어 단어 임베딩을 공개하기 위해.

제안 방법

• Google Translate API를 사용하여 5개 투르크어 계열 언어에 대한 새로운 双어 사전을 수집하였다.
• Baisa 등(2012)의 투르크어 언어 코퍼스에서 각 투르크어 언어에 대해 단일 언어 fastText 단어 임베딩을 훈련시켰다.
• 세 가지 최신 다국어 정렬 기법(MUSE, VecMap, Meemi)을 사용하여 단일 언어 임베딩 공간을 정렬하였다.
• Meemi가 VecMap의 정렬을 개선하여 문법적으로 복잡한 저자원 언어에서 성능을 향상시켰다.
• 이중어 사전 유도를 통해 정렬 품질을 평가하였으며, 단어 쌍에 대한 상위-k 정확도를 측정하였다.
• Meemi 정렬 임베딩을 기반으로 훈련된 RNN 모델을 사용하여 우즈베크어의 감성 분석을 외재적 평가로 수행하였다.

실험 결과

연구 질문

• RQ1 영어 및 터키어에서 유래한 다국어 단어 임베딩 정렬 기법이 저자원 투르크어 계열 언어로 지식 전이에 효과적으로 기여할 수 있는가?
• RQ2 관련성이 높고 자원이 풍부한 투르크어 언어(터키어)를 기준으로 정렬하는 것이 영어를 기준으로 하는 것보다 더 나은 성능을 내는가?
• RQ3 최근 수집한 双어 사전과 단일 언어 임베딩은 기존 자원과 비교해 품질과 활용도 면에서 어떻게 다른가?
• RQ4 다국어 정렬이 저자원 환경에서 감성 분석과 같은 후행 NLP 작업 성능을 어느 정도 향상시키는가?
• RQ5 MUSE, VecMap, Meemi 중 어떤 정렬 기법이 문법적으로 복잡한 저자원 투르크어 계열 언어에서 가장 우수한 성능을 내는가?

주요 결과

• Meemi가 VecMap 정렬 모델을 개선한 결과, 모든 5개 투르크어 언어에서 双어 사전 유도 작업에서 가장 높은 성능을 기록하였다.
• 최근 수집한 双어 사전과 단일 언어 단어 임베딩은 이전에 공개된 자원보다 정렬 품질 면에서 뛰어났다.
• 터키어를 기준으로 한 다국어 정렬이 영어를 기준으로 한 정렬보다 더 나은 결과를 도출하였으며, 이는 언어적 유사성이 지식 전이를 향상시킨다는 것을 시사한다.
• 우즈베크어 감성 분석 작업에서 Meemi 정렬 임베딩을 기반으로 훈련된 RNN 모델은 번역된 데이터셋에서 테스트 F1 스코어 0.8876을 기록하여 베이스라인 fastText 모델(0.8832)을 略로 뛰어넘었다.
• 결과적으로 저자원 언어의 단일 언어 단어 임베딩이 관련성이 높은 고자원 언어를 통해 다국어 정렬을 통해 유의미한 이점을 얻을 수 있음을 확인하였다.
• 본 연구는 문법적으로 복잡한 저자원 투르크어 계열 언어에 대해 다국어 정렬이 실현 가능하고 효과적임을 입증하였으며, 특히 Meemi가 VecMap에 통합된 방법이 가장 효과적인 것으로 밝혀졌다.