[논문 리뷰] Learning Word Vectors for 157 Languages

Édouard Grave, Piotr Bojanowski외 3명|arXiv (Cornell University)|2018. 02. 19.

Natural Language Processing Techniques인용 수 144

한 줄 요약

요약: 이 논문은 위키피디아와 Common Crawl 데이터를 사용하여 157개 언어에 대해 고품질 단어 벡터를 학습하고, 세 가지 새로운 단어 아날로지 데이터셋(프랑스어, 힌디, 폴란드어)을 도입하며, 10개 언어에 대한 강력한 평가와 데이터 소스 및 모델 변형에 대한 분석을 제공한다.

ABSTRACT

Distributed word representations, or word vectors, have recently been applied to many tasks in natural language processing, leading to state-of-the-art performance. A key ingredient to the successful application of these representations is to train them on very large corpora, and use these pre-trained models in downstream tasks. In this paper, we describe how we trained such high quality word representations for 157 languages. We used two sources of data to train these models: the free online encyclopedia Wikipedia and data from the common crawl project. We also introduce three new word analogy datasets to evaluate these word vectors, for French, Hindi and Polish. Finally, we evaluate our pre-trained word vectors on 10 languages for which evaluation datasets exists, showing very strong performance compared to previous models.

연구 동기 및 목표

• 대규모 다국어 말뭉치를 활용한 영어를 넘어선 다국어 단어 표현 학습의 동기를 제시한다.
• 157개 언어에 걸친 데이터 수집, 언어 식별, 중복 제거, 토큰화 단계의 과정을 기술한다.
• 고품질 다국어 임베딩을 학습하기 위해 subword 정보를 포함하고 위치 가중 CBOW를 확장한다.
• 세 가지 새로운 언어별 단어 아날로지 데이터셋(프랑스어, 힌디, 폴란드어)을 도입하고 다국어 모델의 아날로지 태스크 성능을 평가한다.
• 아카이브(위키피디아 vs. Common Crawl) 및 하이퍼파라미터 선택이 아날로지 성능에 미치는 영향을 평가한다.

제안 방법

• 서브워드 정보(문자 n-그램)를 사용하는 fastText 모델 확장을 통해 단어 벡터를 학습한다.
• skipgram 및 CBOW 변형을 비교하고 위치 가중 CBOW 모델을 포함한다.
• 언어별로 데이터를 전처리하고, 행을 중복 제거하며, 언어에 적합한 도구로 토큰화한다.
• 데이터 소스 두 가지—위키피디아와 Common Crawl(2017년 5월 크롤)—에서 단어 벡터를 학습한다.
• 영어 아날로지를 기반으로 프랑스어, 힌디, 폴란드어에 대한 새로운 아날로지 데이터셋을 도입하고 번역한다.
• 평가를 위해 평가용 고정 어휘 제한으로 10개 언어에 걸친 단어 아날로지 태스크를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 대규모의 혼합 소스(위키피디아와 Common Crawl)를 사용하여 157개 언어에 대해 고품질 단어 벡터를 학습할 수 있는가?
• RQ2 데이터 소스, 모델 변형, 하이퍼파라미터가 다국어 단어 아날로지 성능에 어떤 영향을 미치는가?
• RQ3 서브워드 정보를 가진 모델(fastText 확장)이 기준선에 비해 교차 언어 아날로지 정확도를 향상시키는가?
• RQ4 새로 도입된 프랑스어, 힌디, 폴란드어 아날로지 데이터셋이 기존 벤치마크와 다국어 임베딩 평가에 어떤 영향을 미치는가?

주요 결과

체코어	독일어	스페인어	핀란드어	프랑스어	힌디어	이탈리아어	폴란드어	포르투갈어	중국어	평균
63.1	61.0	57.4	35.9	64.2	10.6	56.3	53.4	54.0	60.2	51.0
57.7	61.8	57.5	39.4	65.9	8.3	57.2	54.5	54.8	59.3	50.9
63.9	71.7	64.4	42.8	71.6	14.1	66.2	56.0	60.6	51.5	55.5
64.8	73.7	65.0	45.0	73.5	14.5	68.0	58.3	62.9	56.0	57.4
64.6	73.9	67.1	46.8	74.9	16.1	69.3	58.2	64.7	60.6	58.8
69.9	72.9	65.4	70.3	73.6	32.1	69.8	67.9	66.7	78.4	66.7

• 위키피디아와 Common Crawl에서 학습된 단어 벡터가 10개 언어에서 강력한 아날로지 성능을 달성한다.
• 위치 가중치를 가지는 CBOW에 서브워드 정보를 더한 구성이 전반적으로 가장 큰 개선을 보인다.
• 보다 많은 음수 샘플과 더 긴 학습 에포크가 아날로지 정확도를 높이지만 학습 비용이 증가한다.
• Common Crawl 데이터는 커버리지를 높이고 저자원 언어(예: 힌디, 핀란드어, 폴란드어)에 더 큰 이점을 주며, 자원 많은 언어에서는 이익이 미미하거나 약간의 하락을 보일 수 있다.
• 높은 자원 언어의 경우 도메인 불일치로 인해 크롤 데이터가 정확도 향상을 크게 가져오지 못할 수 있다.
• 프랑스어, 힌디, 폴란드어에 대한 신규 언어별 아날로지 데이터셋은 다국어 평가 범위를 확장한다.