[논문 리뷰] Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization

Mozhi Zhang, Keyulu Xu외 3명|arXiv (Cornell University)|2019. 06. 04.

Topic Modeling참고 문헌 36인용 수 5

한 줄 요약

이 논문은 비등가성 언어 쌍에 대해 단일 언어 단어 임베딩을 단위 벡터 길이와 각 언어의 평균이 0이 되도록 변환하는 반복 정규화(Iterative Normalization)를 제안한다. 이는 비등가성 언어 쌍에서의 다국어 간 정렬을 향상시킨다. 반복적으로 정규화함으로써, 특히 영어-일본어 쌍에서 번역 정확도가 2%에서 44%로 크게 향상되며, 다양한 최첨단 맵핑 기반 다국어 임베딩 방법에서 성능 향상을 이룬다.

ABSTRACT

Cross-lingual word embeddings (CLWE) underlie many multilingual natural language processing systems, often through orthogonal transformations of pre-trained monolingual embeddings. However, orthogonal mapping only works on language pairs whose embeddings are naturally isomorphic. For non-isomorphic pairs, our method (Iterative Normalization) transforms monolingual embeddings to make orthogonal alignment easier by simultaneously enforcing that (1) individual word vectors are unit length, and (2) each language's average vector is zero. Iterative Normalization consistently improves word translation accuracy of three CLWE methods, with the largest improvement observed on English-Japanese (from 2% to 44% test accuracy).

연구 동기 및 목표

• 원천 언어와 대상 언어의 벡터 공간 구조가 비등가성일 경우 다국어 단어 임베딩 정렬 문제를 해결한다.
• 임베딩이 길이 불변성과 중심 불변성을 갖추지 못할 경우 정규 직교 맵핑이 실패함을 규명한다.
• 각 언어에서 단위 벡터 길이와 평균이 0이 되도록 동시에 강제하는 전처리 방법을 개발하여 정규 직교 정렬의 호환성을 향상시킨다.
• 제안된 방법이 정규 직교 맵핑뿐만 아니라 비정규 직교 맵핑 기반의 다양한 다국어 임베딩 프레임워크에서 성능 향상을 이끌어내는지 입증한다.
• 정규화가 단일 언어의 의미 구조를 유지하면서도 다국어 정렬을 향상시킨다는 것을 검증한다.

제안 방법

• 벡터 길이를 정규화하고 평균을 중심에 둔다는 두 가지 조건을 만족시키기 위해, 반복적으로 단일 언어 단어 임베딩을 정규화하는 교차 투영 알고리즘을 적용한다: (1) 모든 단어 벡터가 단위 길이를 가져야 하며, (2) 각 언어의 평균 벡터가 0이 되어야 한다.
• 알고리즘은 벡터 길이 정규화와 평균 중심화를 번갈아가며 수행하며, 동시에 두 조건을 만족하는 해로 수렴한다.
• 이 방법은 기반 다국어 맵핑 기술에 관계없이 적용 가능하도록 설계되어, 프로크루스테스 분석, 정밀 조정, 느슨한 csls와 모두 호환된다.
• 정규화는 맵핑 단계 이전에 적용되며, 이로써 단일 언어 임베딩이 정규 직교 변환에 더 잘 적합해지도록 변환된다.
• 길이 불변성과 중심 불변성이 정규 직교 정렬의 가능성을 향상시킨다는 이론적 분석에 기반한다.
• 수렴 보장이 있는 반복적 프로세스로 구현되었으며, 코드는 공개되어 있다.

실험 결과

연구 질문

• RQ1 비등가성 언어 쌍에서 단일 언어 임베딩을 사전 처리함으로써 다국어 단어 임베딩 정렬을 향상시킬 수 있는가?
• RQ2 각 언어에서 단위 벡터 길이와 평균이 0이 되도록 강제하면 정규 직교 다국어 맵핑 방법의 성능이 향상되는가?
• RQ3 반복 정규화는 차원별 평균 중심화와 길이 정규화와 같은 기존 정규화 기법보다 어떻게 다를까?
• RQ4 제안된 방법은 정규 직교 맵핑 뿐 아니라 비정규 직교 맵핑 기법(예: 느슨한 csls)에도 성능 향상을 가져오는가?
• RQ5 정규화 과정이 단일 언어 임베딩의 의미 구조를 얼마나 잘 유지하는가?

주요 결과

• 영어-일본어 언어 쌍에서 반복 정규화는 번역 정확도를 2%에서 44%로 높여, 테스트한 39개 언어 쌍 중에서 가장 큰 향상을 이룬다.
• 프로크루스테스 분석, 정밀 조정된 프로크루스테스, 느슨한 csls 등 세 가지 다른 다국어 임베딩 방법에서 일관되게 번역 정확도를 향상시킨다.
• 비정규 직교 방법인 느슨한 csls에도 불구하고 반복 정규화가 성능 향상을 이끌어내어, 길이 불변성과 중심 불변성이 광범위한 정렬 기법에 유익함을 시사한다.
• 기존 정규화(평균 중심화 + 길이 정규화)는 성능 향상이 미미하여, 단일 반복 처리로는 부족하며 반복 보완이 필요함을 확인한다.
• 단일 언어 의미 유사도 벤치마크(ws-353, mc, rg, yp-130)에서 정규화 후 성능 저하가 거의 없어, 유용한 의미 구조가 유지됨을 나타낸다.
• 다양한 언어 쌍에서 효과적이며, 원래 임베딩 공간의 구조적 차이가 크더라도 정렬을 크게 향상시킨다.