[논문 리뷰] Refinement of Unsupervised Cross-Lingual Word Embeddings

Magdalena Biesialska, Marta R. Costa‐jussà|arXiv (Cornell University)|2020. 02. 21.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 이종어 번역 어휘 임베딩의 자기지도 학습 정련 방법을 제안하며, 이중어 지도 없이도 정렬을 향상시킨다. 소규모 자기학습된 시드 어휘 사전과 길이 및 중심 불변성 조건을 활용함으로써, 특히 핀란드어나 독일어와 같이 형태적 특성이 뚜렷한 언어들에 대해 다국어 NLP에서 최신 기술을 능가하는 성능을 보인다.

ABSTRACT

Cross-lingual word embeddings aim to bridge the gap between high-resource and low-resource languages by allowing to learn multilingual word representations even without using any direct bilingual signal. The lion's share of the methods are projection-based approaches that map pre-trained embeddings into a shared latent space. These methods are mostly based on the orthogonal transformation, which assumes language vector spaces to be isomorphic. However, this criterion does not necessarily hold, especially for morphologically-rich languages. In this paper, we propose a self-supervised method to refine the alignment of unsupervised bilingual word embeddings. The proposed model moves vectors of words and their corresponding translations closer to each other as well as enforces length- and center-invariance, thus allowing to better align cross-lingual embeddings. The experimental results demonstrate the effectiveness of our approach, as in most cases it outperforms state-of-the-art methods in a bilingual lexicon induction task.

연구 동기 및 목표

• 형태학적으로 뚜렷하거나 거리가 먼 언어에 대해 적용되지 않는 등장형 벡터 공간을 가정하는 정규직선 변환 방법의 한계를 해결한다.
• 병렬 문장집이나 대규모 이중어 사전에 의존하지 않고도 비지도 학습 기반의 이종어 어휘 임베딩 품질을 향상시킨다.
• 소규모 자동으로 학습된 시드 어휘 사전을 활용해 공통된 벡터 공간에서 정렬을 이끄는 자기지도 학습 정련 프레임워크를 개발한다.
• 길이 불변성과 중심 불변성 조건을 적용해 임베딩의 강건성을 향상시켜 언어 벡터 공간에서 완벽하지 않은 등장형 일치성 문제를 완화한다.
• 표준 이종어 어휘 사전 유도 벤치마크에서 최신 비지도 방법에 비해 일관된 성능 향상을 입증한다.

제안 방법

• 단일어 문장집에서 유도된 소규모 자동 추출 시드 어휘 사전에서 학습하는 자기지도 학습 정련 프레임워크를 제안한다.
• 공통된 공간에서 원천 언어와 대상 언어의 임베딩을 정렬하기 위해 선형 변환을 적용하며, 단위 길이와 영점 중심 벡터를 강제하는 조건을 부여한다.
• 공통된 공간에서 단어 벡터와 그에 해당하는 번역어의 거리를 최소화하는 손실 함수를 도입한다.
• 모든 벡터를 단위 길이로 정규화함으로써 길이 불변성을 강제하고, 임베딩 공간의 중심이 원점에 있도록 중심 불변성을 확보한다.
• 정련된 목표 함수에 대해 경사 하강법을 사용해 변환 행렬을 최적화함으로써 명시적 이중어 지도 없이도 정렬을 향상시킨다.
• 평가 시 기준선과의 공정한 비교를 위해 CSLS(Centroid-based Similarity Learning) 방법을 사용해 최근접 이웃 검색을 수행한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 정련 방법이 병렬 또는 이중어 데이터 없이도 비지도 학습 기반의 이종어 어휘 임베딩을 향상시킬 수 있는가?
• RQ2 제안된 방법은 형태학적으로 뚜렷한 언어들, 특히 핀란드어나 독일어와 같은 비등장형 언어 쌍을 효과적으로 다룰 수 있는가?
• RQ3 공통된 임베딩 공간에서 길이 및 중심 불변성을 강제하는 것이 표준 정규직선 변환보다 더 나은 정렬 성능을 낼 수 있는가?
• RQ4 제안된 방법은 표준 벤치마크 작업에서 최신 기술의 비지도 및 약한 지도 학습 기반 CLE 모델과 비교해 어떻게 성능을 내는가?
• RQ5 소규모 자동 학습 시드 어휘 사전은 비지도 CLE의 효과적인 정련을 이끄는 데 충분한가?

주요 결과

• 제안된 방법은 영어-스페인어 및 영어-핀란드어 쌍에서 비지도 VecMap 기준선보다 이종어 어휘 사전 유도 성능이 뛰어나 P@1 점수가 높다.
• 영어-독일어 쌍에서는 기준선과 유사한 성능을 보이며, 형태학적으로 뚜렷한 언어 환경에서도 강건함을 입증한다.
• 원래는 지도 학습 설정을 위해 설계된 IterNorm 정련 기법보다도 비지도 CLE에 적용했을 때 성능이 뛰어나, 자원이 적은 환경에서 더 나은 일반화 능력을 보인다.
• 자기학습 시드 어휘 사전의 사용은 정렬 품질을 크게 향상시키며, 소규모 자동 추출 이중어 신호조차도 효과적인 정련을 이끄는 데 기여함을 시사한다.
• 길이 및 중심 불변성 조건의 조합은 등장형 일치성 가정이 실패할 경우 더욱 안정적이고 정확한 이종어 정렬을 가능하게 하며, 특히 그러한 경우에 유의미한 성능 향상을 이룬다.
• 대부분의 평가된 언어 쌍에서 벤치마크 데이터셋에서 최신 기술 성능을 확보함으로써, 자기지도 학습 정련 전략의 효과성을 확인한다.