[논문 리뷰] Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind

Zheng Zhang, Ruiqing Yin외 2명|arXiv (Cornell University)|2019. 09. 18.

Topic Modeling참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다의어 단어 토큰 임베딩을 노이즈(제거) 또는 평균 앵커를 클러스터 수준의 평균 앵커로 대체하는 방식으로 다국어 문맥적 단어 임베딩 정렬을 향상시키는 방법을 제안한다. 실험 결과, 특히 다의어 단어에 대해 매크로스코픽 성능을 유지하면서 비지도 이중어휘추론에서 10점 이상의 향상이 이루어졌다.

ABSTRACT

Recent work in cross-lingual contextual word embedding learning cannot handle multi-sense words well. In this work, we explore the characteristics of contextual word embeddings and show the link between contextual word embeddings and word senses. We propose two improving solutions by considering contextual multi-sense word embeddings as noise (removal) and by generating cluster level average anchor embeddings for contextual multi-sense word embeddings (replacement). Experiments show that our solutions can improve the supervised contextual word embeddings alignment for multi-sense words in a microscopic perspective without hurting the macroscopic performance on the bilingual lexicon induction task. For unsupervised alignment, our methods significantly improve the performance on the bilingual lexicon induction task for more than 10 points.

연구 동기 및 목표

• 다의어 단어의 토큰 임베딩 기하학적 분포와 그 단어의 의미 간 관계를 조사한다.
• 특히 토큰 임베딩을 단일 앵커로 평균화하는 데 기인한 다의어 단어에 적용할 때 현재의 다국어 매핑 방법의 한계를 규명한다.
• 다의어 단어 임베딩을 노이즈로 간주하거나 평균 앵커를 의미 클러스터 기반 평균 앵커로 대체함으로써 지도 및 비지도 다국어 정렬을 향상시킨다.
• 매크로스코픽 정렬 품질을 떨어뜨리지 않고 双어어휘추론 성능을 향상시킨다.

제안 방법

• 다의어 단어의 동음이의어 또는 어간 형태를 포함하는 번역 쌍을 제거하여 노이즈가 많은 지도 학습을 줄인다.
• 표준 평균 앵커 임베딩을 토큰 임베딩의 k-means 클러스터링에서 유도된 클러스터 수준의 평균 앵커 임베딩으로 대체한다.
• 다의어 단어의 문맥적 토큰 임베딩을 생성하기 위해 ELMo의 첫 번째 LSTM 레이어 출력을 사용한다.
• 제안된 앵커 수정 사항을 적용한 지도 및 비지도 다국어 매핑 프레임워크(예: MUSE, 선형 매핑)를 적용한다.
• 임베딩 공간을 시각화하여 다의어 단어 임베딩의 공간적 클러스터링과 목표 언어 단어와의 정렬을 분석한다.
• 이중어휘추론 작업에서 상위-k 정밀도(P@k)를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다의어 단어의 토큰 임베딩 기하학적 분포는 그들의 서로 다른 의미와 어떻게 관련되어 있는가?
• RQ2 여러 의미에 해당하는 토큰 임베딩을 단일 앵커로 평균화하는 것은 다국어 정렬 품질을 어느 정도 악화시키는가?
• RQ3 다의어 단어의 동음이의어 또는 어간 형태를 포함하는 번역 쌍을 제거하면 정렬 정확도가 향상되는가?
• RQ4 평균 앵커를 클러스터 수준의 평균 앵커로 대체하면 지도 및 비지도 설정 모두에서 성능 향상이 이루어지는가?
• RQ5 제안된 방법은 매크로스코픽 정렬 성능을 해치지 않고 비지도 이중어휘추론 성능을 향상시킬 수 있는가?

주요 결과

• 다의어 단어의 동음이의어 또는 어간 형태를 포함하는 번역 쌍을 제거함으로써 비지도 어휘추론에서 P@top1 기준 10점 이상의 향상이 이루어졌다.
• 평균 앵커를 클러스터 수준의 평균 앵커로 대체함으로써 비지도 이중어휘추론 작업에서 최고의 성능을 달성했으며, 특히 ELMo의 첫 번째 LSTM 레이어를 사용할 경우 두드러진 성능 향상이 있었다.
• 형태 기반 제거 방법은 기존의 오류를 수정했으며, 'commands'를 'instructions'로 매핑하거나 'galaxy'를 'titan'으로 매핑하는 등의 오류를 수정하여 의미 수준의 정렬 향상을 보였다.
• 지도 정렬 작업에서 성능은 유지되거나 약 0.6% 이내로 약간 향상되어 매크로스코픽 성능에 하락이 없음을 확인했다.
• 시각화 결과, 동음이의어 관련 지도 학습을 제거함으로써 프랑스어 단어 'banque'가 'bank'의 금융 의미 클러스터에 더 가까이 정렬됨을 확인했으며, 이는 더 나은 의미 기반 정렬을 의미한다.
• 결과적으로 다의어 단어 임베딩은 균일하게 분포되어 있지 않으며, 의미 기반 클러스터링이 효과적인 다국어 매핑을 위해 필수적임을 시사한다.