[논문 리뷰] Analyzing the Limitations of Cross-lingual Word Embedding Mappings

Aitor Ormazabal, Mikel Artetxe외 3명|arXiv (Cornell University)|2019. 06. 12.

Topic Modeling참고 문헌 21인용 수 6

한 줄 요약

이 논문은 동일한 조건에서 병렬 문장 자료를 사용하여 복수어성어휘 임베딩의 공동 학습과 오프라인 매핑을 비교한다. 공동 학습은 더 이sovolumetric한 임베딩을 생성하고 허브니스 민감도를 감소시키며, 이중어어휘 유도에서 매핑 방법을 능가함을 발견한다. 이는 낮은 감독 요구 조건에도 불구하고 현재의 매핑 접근법에 내재된 본질적 한계를 드러낸다.

ABSTRACT

Recent research in cross-lingual word embeddings has almost exclusively focused on offline methods, which independently train word embeddings in different languages and map them to a shared space through linear transformations. While several authors have questioned the underlying isomorphism assumption, which states that word embeddings in different languages have approximately the same structure, it is not clear whether this is an inherent limitation of mapping approaches or a more general issue when learning cross-lingual embeddings. So as to answer this question, we experiment with parallel corpora, which allows us to compare offline mapping to an extension of skip-gram that jointly learns both embedding spaces. We observe that, under these ideal conditions, joint learning yields to more isomorphic embeddings, is less sensitive to hubness, and obtains stronger results in bilingual lexicon induction. We thus conclude that current mapping methods do have strong limitations, calling for further research to jointly learn cross-lingual embeddings with a weaker cross-lingual signal.

연구 동기 및 목표

• 복수어성어휘 임베딩 매핑의 이sovolumetric성 가정이 매핑 방법 자체의 한계인지, 또는 언어적 분열로 인한 일반적 문제인지 규명하는 것.
• 병렬 문장 자료를 사용하여 동일한 훈련 조건에서 공동 학습과 오프라인 매핑 방법을 비교하는 것.
• 언어적 및 유형론적 차이가 임베딩의 이sovolumetric성, 허브니스, 이중어어휘 유도 성능에 미치는 영향을 평가하는 것.
• 관찰된 매핑 방법의 한계가 접근법 자체에 내재된 것인지, 아니면 단일 언어 임베딩의 별도 훈련에서 기인하는 것인지 평가하는 것.

제안 방법

• 모든 언어에 대해 300차원 스위프그램 단어 임베딩을 단일 언어 문장 자료를 기반으로 word2vec으로 훈련.
• 무 supervision VecMap을 적용하여 선형 변환을 통해 단일 언어 임베딩을 공유 공간으로 매핑.
• 병행 문장 쌍을 사용하여 복수어성어휘 임베딩을 공동으로 훈련하는 스위프그램 모델을 확장.
• 언어별 임베딩 공간 간의 이sovolumetric성 정도를 측정하기 위해 고유값 유사도를 평가.
• 모든 쿼리에서 자주 나타나는 가장 가까운 이웃의 수를 측정하여 허브니스를 측정.
• CSLS(교차모달 유사도 학습)를 적용하여 허브니스를 감소시키고, 양 방법에 미치는 영향을 평가.

실험 결과

연구 질문

• RQ1 동일한 병렬 문장 자료를 기반으로 훈련했을 때, 공동 학습이 오프라인 매핑보다 더 이sovolumetric한 복수어성어휘 임베딩 공간을 생성하는가?
• RQ2 언어적 및 유형론적 차이(예: 핀란드어-영어)는 매핑과 공동 학습의 성능과 내구성에 어떤 영향을 미치는가?
• RQ3 허브니스 문제의 심각도가 매핑 방법에 비해 공동 학습에 비해 얼마나 더 심각한가?
• RQ4 CSLS는 매핑 설정에서 공동 학습 설정보다 더 효과적으로 허브니스를 완화하는가?
• RQ5 이deal 조건 하에서 공동 학습은 오프라인 매핑보다 이중어어휘 유도 성능에서 더 뛰어나게 되는가?

주요 결과

• 공동 학습은 오프라인 매핑보다 유의미하게 더 이sovolumetric한 임베딩 공간을 생성하였으며, 언어 쌍 간의 고유값 유사도는 26.5에서 32.8 사이로 변동하였다.
• 매핑 방법은 핀란드어-영어 쌍에서 이sovolumetric성이 상대적으로 낮게 나타났으며(26.5), 다른 쌍들(30.0–32.8)과 비교해 볼 때 유형론적 분열에 민감함을 보였다.
• 공동 학습은 허브니스에 덜 민감했으며, 특히 핀란드어-영어 쌍에서 허브니스 차이가 가장 컸다.
• 오프라인 매핑은 CSLS의 영향을 더 크게 받았으며, 이는 허브니스 감소에 기여했지만, 공동 학습에서는 기존의 낮은 허브니스 수준 덕분에 CSLS가 부정적인 영향을 미쳤다.
• 이중어어휘 유도에서 공동 학습은 오프라인 매핑을 능가했으며, 핀란드어-영어 쌍의 Eparl 데이터셋에서 최근접 이웃 기반으로 26.3% 대비 65.2%의 정확도를 기록했다.
• 결과는 매핑 방법에서 관찰된 한계가 접근법 자체에 내재된 것이며, 복수어성어휘 표현 학습의 일반적 문제와는 무관하다는 것을 시사한다.