[논문 리뷰] On the Robustness of Unsupervised and Semi-supervised Cross-lingual Word Embedding Learning

Yerai Doval, José Camacho-Collados외 2명|arXiv (Cornell University)|2019. 08. 21.

Topic Modeling참고 문헌 43인용 수 15

한 줄 요약

이 논문은 다양한 언어 조합, 훈련 코퍼스, 그리고 감독 수준에서 비지도 및 준지도 학습 기반의 다국어 단어 임베딩 방법의 견고성을 평가한다. 연구 결과, 형태소적으로 복잡하거나 어원적으로 거리가 먼 언어에서는 품질 높은 임베딩를 확보하기 위해 상당한 감독이 반드시 필요하며, 이는 최소한의 감독만으로도 견고한 다국어 정렬이 가능하다는 가정을 도전한다.

ABSTRACT

Cross-lingual word embeddings are vector representations of words in different languages where words with similar meaning are represented by similar vectors, regardless of the language. Recent developments which construct these embeddings by aligning monolingual spaces have shown that accurate alignments can be obtained with little or no supervision. However, the focus has been on a particular controlled scenario for evaluation, and there is no strong evidence on how current state-of-the-art systems would fare with noisy text or for language pairs with major linguistic differences. In this paper we present an extensive evaluation over multiple cross-lingual embedding models, analyzing their strengths and limitations with respect to different variables such as target language, training corpora and amount of supervision. Our conclusions put in doubt the view that high-quality cross-lingual embeddings can always be learned without much supervision.

연구 동기 및 목표

• 다양한 조건(다양한 언어 조합, 훈련 코퍼스, 감독 수준)에서 최신 다국어 단어 임베딩 모델의 견고성을 평가하는 것.
• 특히 비이성적인 환경에서 최소 또는 무감독으로도 고품질의 다국어 임베딩를 안정적으로 학습할 수 있는지 조사하는 것.
• 형태학적 또는 어원적으로 상당한 차이가 나는 언어 조합(예: 영어-핀란드어, 영어-페르시아어)에서의 모델 성능을 평가하는 것.
• 소셜 미디어 텍스트와 같은 노이즈가 많은 비위키백과 코퍼스가 임베딩 품질과 정렬 성능에 미치는 영향을 분석하는 것.
• 다양한 평가 과제와 언어 조합에서 여러 정렬 전략과 모델(예: VecMap, MUSE, Meemi)을 비교하는 것.

제안 방법

• 비지도 및 준지도 학습 기반 다국어 임베딩 모델 4종(VerMap, MUSE, Meemi VM, Meemi MS)을 3가지 정렬 전략(이중어사전 기반 감독, 비지도, 동일한 사전 초기화)을 통해 평가.
• 단일 언어 코퍼스 3종(위키백과, 웹 크롤링 텍스트, 소셜 미디어 텍스트)을 활용해 코퍼스 품질의 영향을 분석.
• 3개의 과제에서 성능 평가: 이중어사전 유도(BLI), 다국어 단어 유사도(SemEval-17), 단어 번역 검색.
• 다양한 감독 수준 적용: 이중어사전에서 8K, 1K, 100개의 단어 쌍을 사용하고, 어휘 사전 없이 비지도 기반 베이스라인 설정.
• 단어 유사도 과제에서는 피어슨 및 스피어만 상관계수 측정, 단어 번역 과제에서는 상위 1, 5, 10 정확도 측정.
• 5개 언어 조합(영어-스페인어, 영어-이탈리아어, 영어-독일어, 영어-페르시아어, 영어-핀란드어)에서 비교 분석을 수행하여 다양한 언어 계열과 문자 체계를 포함.

실험 결과

연구 질문

• RQ1 소셜 미디어 텍스트와 같은 노이즈가 많은 비위키백과 코퍼스에서 훈련된 경우 다국어 임베딩 모델의 성능은 어떻게 되는가?
• RQ2 형태학적 또는 어원적으로 상당한 차이가 나는 언어 조합(예: 영어-핀란드어, 영어-페르시아어)에서 성능 저하 정도는 어느 정도인가?
• RQ3 100개 미만의 병렬 단어 쌍으로도 고품질의 다국어 정렬을 안정적으로 달성할 수 있는가, 아니면 더 많은 감독이 견고한 성능을 위해 필수적인가?
• RQ4 다양한 언어 조합과 코퍼스 유형에서 감독 기반과 비지도 기반 정렬 전략 간의 성능을 어떻게 비교할 수 있는가?
• RQ5 단일 언어 코퍼스 선택(위키백과 대비 웹 크롤링 대비 소셜 미디어)이 다국어 단어 임베딩 품질에 상당한 영향을 미치는가?

주요 결과

• 영어-페르시아어 및 영어-핀란드어 조합에서 작은 어휘 사전을 사용할 경우 성능 저하가 심각하게 나타났다. MUSE는 각각 100개의 단어 쌍으로 47.7%, 47.9%의 상위 1 정확도를 기록했고, 8,000개의 단어 쌍을 사용했을 땐 70% 이상을 기록했다.
• 소셜 미디어 코퍼스에서 비지도 모델(MUSE, Meemi MS)은 성능이 급격히 떨어졌으며, 영어-스페인어 조합에서 상위 1 정확도가 각각 9.9%와 12.4%로 떨어졌다.
• VecMap는 모든 코퍼스와 언어 조합에서 일관되게 다른 모델보다 뛰어난 성능을 보였으며, 100개의 단어 쌍을 사용해도 위키백과 코퍼스에서 모든 언어 조합에서 상위 1 정확도가 70% 이상을 기록했다.
• 웹 크롤링 코퍼스에서 훈련된 모델들은 중간 수준의 성능을 보였지만, 페르시아어와 핀란드어에서는 성능이 급격히 떨어졌다. MUSE는 단어 유사도 과제에서 피어슨 상관계수 29.7%와 17.5%를 기록했다.
• 비지도 베이스라인은 인도-유럽어족이 아닌 언어에서 매우 열악한 성능을 보였다. Meemi MS는 100개의 단어 쌍으로 영어-페르시아어 조합에서 상위 1 정확도가 0.0%에 머물렀다. 이는 감독 없이도 일반화가 어려운 것을 시사한다.
• 8,000개의 단어 쌍을 사용한 경우에도 MUSE는 영어-페르시아어 조합에서 상위 1 정확도 59.2%에 머물렀다. 이는 언어 간 거리가 정렬 품질을 심각하게 제한함을 시사하며, 감독 크기와는 무관하게 성능이 제한됨을 의미한다.