[논문 리뷰] Massively Multilingual Word Embeddings

Waleed Ammar, George Mulcaire외 4명|arXiv (Cornell University)|2016. 02. 05.

Natural Language Processing Techniques참고 문헌 33인용 수 282

한 줄 요약

병렬 데이터 없이 59개 언어의 다국어 단어 임베딩을 학습하기 위한 사전 기반 방법을 도입하고, 다운스트림 작업과의 상관관계를 개선하는 내재 평가를 위한 multi qvec-cca를 제안한다.

ABSTRACT

We introduce new methods for estimating and evaluating embeddings of words in more than fifty languages in a single shared embedding space. Our estimation methods, multiCluster and multiCCA, use dictionaries and monolingual data; they do not require parallel data. Our new evaluation method, multiQVEC-CCA, is shown to correlate better than previous ones with two downstream tasks (text categorization and parsing). We also describe a web portal for evaluation that will facilitate further research in this area, along with open-source releases of all our methods.

연구 동기 및 목표

• 대규모 병렬 말뭉리에 의존하지 않으면서도 여러 언어에 대해 작동하는 공유 다국어 단어 임베딩의 필요성을 제시한다.
• 단일언어 데이터와 이중언어 사전을 이용해 다국어 임베딩을 학습하기 위한 두 가지 사전 기반 추정 방법(multiCluster와 multiCCA)을 제안한다.
• 다수의 언어에 걸쳐 다운스트림 작업과의 상관관계를 더욱 개선하기 위해 내재 평가(multi qvec-cca)를 적응·개선한다.
• 다국어 임베딩 연구를 재현하고 확장하기 위한 접근 가능한 웹 포털과 오픈 소스 도구를 개발한다.

제안 방법

• 병렬 데이터가 필요 없는 상태에서 단일언어 코퍼스와 이중언어 사전을 사용해 언어 간 단어의 공유 임베딩 공간을 정의한다.
• MultiCluster: 번역 그래프를 통해 임베딩을 다국어 클러스터로 분해하고, 단어를 클러스터 ID로 대체한 뒤 다국어 클러스터 시퀀스에 대해 단일언어에 유사한 skipgram을 학습한다.
• MultiCCA: 언어별 투영 행렬을 사용해 비영어계 단일언어 임베딩을 영어 중심 공간으로 투영하여 이중언어 CCA를 다국어 설정으로 확장한다.
• MultiSkip(병렬 데이터 기반 기준선)와 번역 불변성 변형들을 사용해 언어 간 비교를 수행한다.
• Multi qvec와 multi qvec-cca는 단일언어 평가(qvec)를 다국어 설정으로 확장하며, qvec-cca는 공통상관분석을 이용해 기준선의 기저 불변성을 달성한다.
• 평가 데이터 및 정책은 내재적(단어 유사도, 단어 번역)과 외재적 작업(다국어 문서 분류, 다국어 구문 분석)을 포함한다.
• 데이터 다운로드, 평가 실행, 벤치마킹용 임베딩 업로드를 위한 웹 포털이 제공된다.

실험 결과

연구 질문

• RQ1 수십 개의 언어에 대해 병렬 코퍼라에 의존하지 않고도 고품질의 다국어 단어 임베딩을 추정할 수 있는가?
• RQ2 사전 기반 방법(multiCluster, multiCCA)이 내재 및 외재 평가 지표에서 병렬 데이터 기준선(multiSkip)과 如何 비교되는가?
• RQ3 새로운 내재 지표(multi qvec, multi qvec-cca)가 다운스트림 다국어 작업의 성능을 더 잘 예측하는가?
• RQ4 공유 다국어 공간을 통한 번역이 문서 분류 및 구문 분석과 같은 작업에서 언어 간 전이를 촉진하는가?

주요 결과

• MultiCCA는 59개 언어 설정에서 평가된 아홉 가지 지표 전반에 걸쳐 일관되게 multiCluster를 상회한다.
• 사전 기반 방법(multiCluster, multiCCA)은 다수의 메트릭에서 병렬 데이터 기준선과 같거나 앞서며, 특히 큰 다국어 데이터를 학습할 때 더 우수하다.
• 내재 지표인 multi qvec 및 multi qvec-cca가 전통적인 교차 언어 단어 유사도나 단어 번역 지표보다 다운스트림 작업과의 상관관계가 더 강하게 나타난다.
• Multi qvec-cca는 하나의 회전 불변 상관 점수를 제공하여, qvec보다 다운스트림 성능과 더 잘 정렬된다.
• 평가 포털과 코드 공개로 다국어 임베딩의 재현성과 보다 넓은 벤치마킹이 가능해진다.