[논문 리뷰] Improving Cross-Lingual Word Embeddings by Meeting in the Middle

Yerai Doval, José Camacho-Collados외 2명|ORCA Online Research @Cardiff (Cardiff University)|2018. 08. 27.

Topic Modeling참고 문헌 47인용 수 12

한 줄 요약

이 논문은 크로스라ング귀얼 워드 임베딩의 정교화를 위한 새로운 방법을 제안하며, 크로스라ング귀얼 단어 쌍을 그 평균 벡터 표현으로 매핑하는 후처리 정렬 변환을 적용함으로써, 크로스라ング귀얼 및 단라ング귀얼 후행 작업 모두에서 성능을 향상시킨다. 이 방법은 이중어사전 유도, 단어 유사도, 크로스라ング귀얼 하이퍼니움 탐색 벤치마크에서 최신 기술 모델들을 능가한다.

ABSTRACT

Cross-lingual word embeddings are becoming increasingly important in multilingual NLP. Recently, it has been shown that these embeddings can be effectively learned by aligning two disjoint monolingual vector spaces through linear transformations, using no more than a small bilingual dictionary as supervision. In this work, we propose to apply an additional transformation after the initial alignment step, which moves cross-lingual synonyms towards a middle point between them. By applying this transformation our aim is to obtain a better cross-lingual integration of the vector spaces. In addition, and perhaps surprisingly, the monolingual spaces also improve by this transformation. This is in contrast to the original alignment, which is typically learned such that the structure of the monolingual spaces is preserved. Our experiments confirm that the resulting cross-lingual embeddings outperform state-of-the-art models in both monolingual and cross-lingual evaluation tasks.

연구 동기 및 목표

• 기존 크로스라ング귀얼 정렬 방법이 단라ング귀얼 공간의 구조를 유지하는 데서 비롯하는 한계를 해결한다. 이는 언어 특유의 차이를 반영하지 않을 수 있다.
• 초기 정렬 이후 잔류하는 크로스라ング귀얼 동의어 간 격차를 극복하기 위해 대칭적인 변환을 도입한다.
• 공통된 중간점 매핑을 통해 정렬된 임베딩을 정교화하여 크로스라ング귀얼 및 단라ング귀얼 성능을 모두 향상시킨다.
• 초기 정렬 과정을 변경하지 않고도 단순한 후처리 정렬 변환을 통해 상당한 성능 향상을 이룰 수 있음을 입증한다.
• 경량이며 학습 가능한 변환을 통해 어떤 사전에 훈련된 이중어 임베딩 모델에도 일반화 가능하게 적용할 수 있는 방법을 제공한다.

제안 방법

• VecMap 또는 MUSE와 같은 최신 기술을 사용하여 사전에 정렬된 단라ング귀얼 워드 임베딩 공간을 기반으로 시작한다.
• 각 단어와 그 번역어를 그 평균 벡터 표현으로 매핑하는 학습 가능한 선형 변환을 적용한다: $ \vec{v}_{\text{mid}} = \frac{1}{2}(\vec{v}_w + \vec{v}_{w'}) $.
• 작은 이중어 어휘집을 감독 데이터로 사용하여 이 변환을 훈련하며, 공통된 공간 내에서 단어 쌍 간의 유사도를 최적화한다.
• 모든 단어 쌍에 대해 공통된 변환 행렬을 사용하며, 평균 벡터 목표 함수에 대해 경사 하강법을 통해 학습한다.
• 초기 정렬의 구조를 유지하면서도, 언어 간의 분리 정도를 줄이기 위해 임베딩 공간을 정교화한다.
• 후처리 단계로 통합하여, 기존의 어떤 크로스라ング귀얼 임베딩 모델과도 호환 가능하게 한다.

실험 결과

연구 질문

• RQ1 정렬된 단어 쌍을 그 평균으로 이동시켜 크로스라ング귀얼 워드 임베딩을 정교화하는 것이 단라ング귀얼 및 크로스라ング귀얼 작업 모두에서 성능 향상에 기여하는가?
• RQ2 제안된 변환이 초기 정렬 이후에도 단라ング귀얼 단어 유사도 평가 성능을 향상시키는가?
• RQ3 다양한 언어 조합과 데이터 크기에서 MUSE 및 VecMap과 같은 최신 기술 모델과 비교했을 때 성능 및 내구성 측면에서 어떻게 성능을 내는가?
• RQ4 다중라ング귀얼 환경으로 확장하여 다수의 언어에 대해 평균화 전략을 적용할 수 있는가?
• RQ5 더 많은 이중어 감독 데이터를 제공할수록 성능이 향상되는가? 또한 일반적 또는 고수준의 의미 관계를 더 잘 포착하는가?

주요 결과

• 제안된 방법인 'Meeting in the Middle'(MeeMi)는 이중어사전 유도(BDI) 작업에서 최신 기술 모델인 MUSE와 VecMap을 모두 압도하며, 모든 데이터 설정에서 최고 성능을 기록한다.
• 단라ング귀얼 단어 유사도 벤치마크에서 MeeMi는 VecMap 및 MUSE 대비 최대 1.5점 향상된 성능(예: 영어-핀란드어 유사도에서 7.8 대비 7.0)을 기록한다.
• 크로스라ング귀얼 하이퍼니움 탐색에서 MeeMi는 2,000개의 타겟 언어 예제로 훈련했을 때 VecMap을 능가하며, 1,000개의 하위노임 중 143개를 정확히 식별한 반면, VecMap은 111개를 맞췄다.
• 원래의 단라ング귀얼 공간 구조를 유지하지 않음에도 불구하고, MeeMi는 단라ング귀얼 단어 유사도 성능을 향상시키며, 임베딩 공간의 유익한 재조직화를 나타낸다.
• 더 많은 이중어 감독 데이터를 제공할수록 성능 향상이 이루어지며, 이는 더 큰 어휘집을 효과적으로 활용하여 정렬 품질을 향상시킨다는 것을 보여준다.
• 평균화 효과로 인해 일반적인 하이퍼니움(예: 'person', 'citizen')을 더 자주 예측하는 경향을 보이며, 이는 인간이 애너테이션한 의미 계층과 일치한다.