[논문 리뷰] word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs

Yo Joong Choe, Kyubyong Park외 1명|arXiv (Cornell University)|2019. 11. 27.

Natural Language Processing Techniques참고 문헌 14인용 수 12

한 줄 요약

word2word는 OpenSubtitles2018에서 단어 공출 빈도 기반 모델을 활용해 62개 언어 간 3,564개 언어 쌍에 대해 대규모로 공개된 双어어휘집을 제공한다. 이 모델은 단일 언어 및 다국어 단어 공출 패턴을 모두 고려하여 높은 커버리지와 경쟁 가능한 번역 품질을 달성한다. 오픈소스 파이썬 툴킷을 통해 사용자 정의 병렬 코퍼스로의 확장과 접근이 용이하다.

ABSTRACT

We present word2word, a publicly available dataset and an open-source Python package for cross-lingual word translations extracted from sentence-level parallel corpora. Our dataset provides top-k word translations in 3,564 (directed) language pairs across 62 languages in OpenSubtitles2018 (Lison et al., 2018). To obtain this dataset, we use a count-based bilingual lexicon extraction model based on the observation that not only source and target words but also source words themselves can be highly correlated. We illustrate that the resulting bilingual lexicons have high coverage and attain competitive translation quality for several language pairs. We wrap our dataset and model in an easy-to-use Python library, which supports downloading and retrieving top-k word translations in any of the supported language pairs as well as computing top-k word translations for custom parallel corpora.

연구 동기 및 목표

• 다양한 언어 쌍, 특히 인도·아리아어 외 언어에 대해 자유롭게 이용 가능한 고커버리지 이중어휘집의 부족 문제를 해결하기 위해.
• 기존 자료인 Wiktionary와 같이 어형 기반으로 단어를 링크하는 방식이 아니라 직접적인 단어 대 단어 번역을 제공하지 못하는 한계를 극복하기 위해.
• 수천 개의 언어 쌍에 걸쳐 상위-k 단어 번역을 추출하는 확장 가능한 오픈소스 솔루션을 개발하기 위해.
• 사용자 友好的한 파이썬 인터페이스를 통해 저자원 기계 번역 및 다국어 임베딩 작업에 실용적으로 활용할 수 있도록 하기 위해.
• OpenSubtitles2018 외의 사용자 정의 병렬 코퍼스로의 응용을 위해 이 방법을 확장하기 위해.

제안 방법

• 모델은 원천-대상 단어 공출 패턴과 원천 단어의 자기상관관계를 모두 고려하는 카운트 기반 이중어휘집 추출 모델을 사용한다.
• OpenSubtitles2018의 문장 수준 병렬 코퍼스에서의 공출 빈도 수를 기반으로 번역 확률을 계산한다.
• 상호정보량 또는 점별 상호정보량(PMI) 점수를 기반으로 대상 단어를 정렬하여 각 원천 단어에 대해 상위-k 번역어를 산출한다.
• 이 방법은 OpenSubtitles2018 데이터셋에 포함된 3,564개의 방향성 언어 쌍 전역에 적용되며, 총 62개 언어를 포함한다.
• 결과로 생성된 어휘집은 프로그래밍적 접근이 가능한 파이썬 라이브러리로 패ckaging되어 사용자 정의 코퍼스 처리를 지원한다.
• 시스템은 지원되는 모든 언어 쌍에 대해 번역어를 다운로드하고 질의할 수 있으며, 새로운 병렬 코퍼스에서의 학습도 가능하다.

실험 결과

연구 질문

• RQ1 단일 언어 및 다국어 공출 패턴을 모두 활용하는 카운트 기반 모델이 수천 개의 언어 쌍에 걸쳐 고커버리지 이중어휘집을 생성할 수 있는가?
• RQ2 기존 기준과 비교했을 때 추출된 어휘집의 번역 품질과 커버리지 수준은 어떠한가?
• RQ3 이 방법이 인도·아리아어 외 언어나 저자원 언어 쌍에 얼마나 잘 확장될 수 있는가?
• RQ4 오픈소스 파이썬 툴킷이 저자원 기계 번역이나 다국어 전이 학습과 같은 후속 NLP 작업에 쉽게 통합될 수 있는가?
• RQ5 모델이 한국어 '먹다' 또는 프랑스어 'travaillé'처럼 형태소적으로 복잡하거나 기능적으로 흔치 않은 어형을 어떻게 처리하는가?

주요 결과

• word2word 데이터셋은 62개 언어에 걸쳐 3,564개의 방향성 언어 쌍에 대해 상위-k 번역어를 제공하며, 평균 어휘집 크기는 127,023개 항목이며, 단어당 평균 8.8개의 번역어를 포함한다.
• 영어-스페인어와 같은 주요 언어 쌍의 경우, 6140만 개의 문장과 10만 개 이상의 고유한 원천 단어를 포함하며, 높은 번역 커버리지를 확보하고 있다.
• 일상어 'exceptional'이나 'whether'와 같은 단어에서 상위 5위 이내의 번역어가 높은 순위를 차지함으로써, 모델이 경쟁 가능한 번역 품질을 달성하고 있음을 입증한다.
• 시스템은 형태소 변형 및 어형 변화를 잘 포착하여, 'exceptional'에 대해 프랑스어 'exceptionnel'과 'exceptionnelles' 같은 다양한 형태를 정확히 추출한다.
• 파이썬 툴킷을 통해 효율적인 검색과 확장 기능이 가능하며, OpenSubtitles2018 외의 사용자 정의 병렬 코퍼스 처리를 지원한다.
• 저자원 언어 쌍인 한국어-영어 및 베트남어-영어에 대해서도 높은 커버리지를 보이며, 각각 8만 개 이상의 고유 번역어를 포함하고 있다.