[논문 리뷰] Beyond Offline Mapping: Learning Cross Lingual Word Embeddings through Context Anchoring

Aitor Ormazabal, Mikel Artetxe외 3명|arXiv (Cornell University)|2020. 12. 31.

Topic Modeling참고 문헌 43인용 수 7

한 줄 요약

이 논문은 번역된 문맥 단어를 사용한 문맥 앵커링을 통해 목표 언어 임베딩를 고정하고, 이를 기반으로 정렬된 소스 언어 임베딩를 학습하는 새로운 방법을 제안한다. 기존의 매핑 기반 방법과 달리, 독립적으로 훈련된 임베딩 간의 구조적 불일치를 피하며, 병렬 데이터가 힌트 수준을 초과하지 않는 약한 초기 사전을 사용함에도 불구하고, 이중어어휘 유도와 XNLI에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent research on cross-lingual word embeddings has been dominated by unsupervised mapping approaches that align monolingual embeddings. Such methods critically rely on those embeddings having a similar structure, but it was recently shown that the separate training in different languages causes departures from this assumption. In this paper, we propose an alternative approach that does not have this limitation, while requiring a weak seed dictionary (e.g., a list of identical words) as the only form of supervision. Rather than aligning two fixed embedding spaces, our method works by fixing the target language embeddings, and learning a new set of embeddings for the source language that are aligned with them. To that end, we use an extension of skip-gram that leverages translated context words as anchor points, and incorporates self-learning and iterative restarts to reduce the dependency on the initial dictionary. Our approach outperforms conventional mapping methods on bilingual lexicon induction, and obtains competitive results in the downstream XNLI task.

연구 동기 및 목표

• 다른 언어에서 독립적으로 훈련된 단어 임베딩 간의 구조적 불일치 문제를 해결하기 위해 오프라인 매핑 방법에서 발생하는 문제를 해결한다.
• 병행 코퍼스나 강력한 双어 감독을 필요로 하지 않는 교차언어 단어 임베딩 방법을 개발한다.
• 자기학습과 반복 재시작을 활용하여 자원이 적은 교차언어 환경에서의 강인성과 성능을 향상시킨다.
• 자기학습과 앵커링 기법이 교차언어 임베딩 학습에서 지배적인 매핑 기반 접근 방식을 초월해 효과적일 수 있음을 보여준다.

제안 방법

• 단일 언어 목표 언어 코퍼스에서 표준 스킵그램과 음성 샘플링(SGNS)을 사용해 목표 언어 단어 임베딩를 고정한다.
• 소스 언어 출력 벡터를 목표 언어의 번역된 대응어로 대체하여 앵커 포인트로 사용함으로써 소스 언어 임베딩를 학습한다.
• SGNS를 확장하여 번역된 문맥 단어를 통한 교차언어 감독을 통합함으로써 직접적인 단어 간 매핑 없이도 정렬을 가능하게 한다.
• 훈련 중에 반복적인 자기학습을 통해 이중어사전을 재유도함으로써 초기 시드 사전의 품질을 향상시킨다.
• 초기화에 대한 민감도를 줄이고 수렴의 강인성을 향상시키기 위해 반복적인 재시작을 적용한다.
• 초기 사전은 힌트(예: 동일한 단어, 숫자) 또는 기존의 비지도 매핑 방법(예: VecMap)을 통해 구축된다.

실험 결과

연구 질문

• RQ1 독립적으로 훈련된 단일 언어 임베딩 간의 매핑에 의존하지 않고도 교차언어 단어 임베딩를 효과적으로 학습할 수 있는가?
• RQ2 번역된 문맥 단어를 사용한 문맥 앵커링 기법이 전통적인 선형 매핑 기법과 비교해 강인성과 정확도 면에서 어떻게 다른가?
• RQ3 약한 초기 시드 사전에서 시작할 경우 자기학습과 반복 재시작이 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 내재적 평가(이중어어휘 유도)와 외재적 평가(XNLI) 과제에서 최신 기술 수준의 비지도 매핑 방법을 능가하는가?

주요 결과

• 제안된 방법은 이중어어휘 유도를 위한 MUSE 벤치마크에서 P@1 점수 63.9를 기록하여, 필터링된 사전을 사용한 VecMap(62.8)과 공동 학습(35.7)을 능가한다.
• 골드 표준에서 동일한 단어를 제거한 후에도, 다음으로 우수한 시스템보다 평균 1.1점의 개선을 유지함으로써 복제 아티팩트를 초월한 강인성을 확인한다.
• XNLI의 제로샷 전이 과제에서 강력한 성능을 보이며, 후행 NLP 응용 분야에서 경쟁적인 결과를 보여준다.
• 오류 분석 결과, 동일한 단어(예: 명사어)를 복사하는 경향이 뚜렷하게 나타나며, 이는 종종 정확하고 성능 향상에 기여하지만, 이러한 경우를 초월해 잘 일반화됨을 확인했다.
• 제거 분석을 통해 자기학습과 반복 재시작이 특히 약한 초기 사전에서 성능 향상에 크게 기여함을 확인했다.
• 이 방법은 복사가 의미적으로 적절한 명사어와 고유명사 번역에 특히 효과적이며, 골드 표준이 불완전하더라도 잘 작동한다.