[논문 리뷰] Word Alignment by Fine-tuning Embeddings on Parallel Corpora

Zi-Yi Dou, Graham Neubig|arXiv (Cornell University)|2021. 01. 20.

Natural Language Processing Techniques참고 문헌 76인용 수 12

한 줄 요약

이 논문은 병렬 문장 코퍼스에서 다국어 컨텍스트 임베딩을 피지컬 튜닝하여 다국어 단어 정렬을 수행하는 AWESoME를 제안한다. 이는 다국어 단어 정렬에서 이전 최고 성능 기준을 크게 뛰어넘으며, 다국어 단어 수준의 유사성과 문장 수준의 병렬성에 동시에 최적화하여 정렬 품질을 향상시키고, 확률 임계값 설정 또는 최적 운반 이론을 통한 효과적인 정렬 추출을 가능하게 한다.

ABSTRACT

Word alignment over parallel corpora has a wide variety of applications, including learning translation lexicons, cross-lingual transfer of language processing tools, and automatic evaluation or analysis of translation outputs. The great majority of past work on word alignment has worked by performing unsupervised learning on parallel texts. Recently, however, other work has demonstrated that pre-trained contextualized word embeddings derived from multilingually trained language models (LMs) prove an attractive alternative, achieving competitive results on the word alignment task even in the absence of explicit training on parallel data. In this paper, we examine methods to marry the two approaches: leveraging pre-trained LMs but fine-tuning them on parallel text with objectives designed to improve alignment quality, and proposing methods to effectively extract alignments from these fine-tuned models. We perform experiments on five language pairs and demonstrate that our model can consistently outperform previous state-of-the-art models of all varieties. In addition, we demonstrate that we are able to train multilingual word aligners that can obtain robust performance on different language pairs. Our aligner, AWESOME (Aligning Word Embedding Spaces of Multilingual Encoders), with pre-trained models is available at https://github.com/neulab/awesome-align

연구 동기 및 목표

• 병렬 코퍼스에서 사전 학습된 다국어 컨텍스트 임베딩을 통합하고 피지컬 튜닝하여 단어 정렬 성능을 향상시키기.
• 정렬된 단어와 병행하는 문장에 대해 더 가까운 표현을 유도하는 훈련 목표를 설계하여 정렬 품질을 향상시키기.
• 피지컬 튜닝된 컨텍스트 임베딩에서 정렬을 효과적으로 추출하는 방법을 개발하기.
• 단일 다국어 정렬기로 타겟 언어에 대한 피지컬 튜닝 없이도 다양한 언어 조합에서 강력한 제로샷 성능을 달성하기.
• 가용한 감독 신호를 통합하여 반감독 학습을 지원하기.

제안 방법

• 정렬된 단어 쌍이 더 유사한 컨텍스트 임베딩 표현을 가지도록 유도하는 자기학습 목표를 사용하여 병렬 코퍼스에서 다국어 BERT 스타일 모델을 피지컬 튜닝한다.
• 병렬 문장 쌍의 소스 및 타겟 문장 표현을 서로 가깝게 만드는 병행 문장 식별 목표를 도입한다.
• 컨텍스트 임베딩 간 코사인 유사도를 정렬 예측의 기초로 사용한다.
• 확률 임계값 설정과 최적 운반 이론을 적용하여 피지컬 튜닝된 모델 출력에서 강력하고 단방향 정렬을 추출한다.
• 마스크 언어 모델링과 정렬 전용 목표의 조합을 통해 모델을 엔드 투 엔드로 훈련한다.
• 다양한 언어 조합에서 표준 평가 지표인 AER (평균 오류율)를 사용하여 정렬 품질을 평가한다.

실험 결과

연구 질문

• RQ1 병렬 코퍼스에서 다국어 컨텍스트 임베딩을 피지컬 튜닝하면 비지도 학습 방법을 뛰어넘는 단어 정렬 성능 향상이 가능한가?
• RQ2 단어 수준의 정렬과 문장 수준의 병행성에 대한 병행 목표는 정렬 작업을 위한 표현 품질 향상에 기여하는가?
• RQ3 피지컬 튜닝 중에 볼 수 없었던 언어 조합에 대해 단일 다국어 모델이 제로샷 성능을 잘 일반화할 수 있는가?
• RQ4 다른 정렬 추출 방법(임계값 설정 대비 최적 운반 이론)의 성능과 강건성은 어떻게 비교되는가?
• RQ5 모델는 반감독 설정에서 감독 신호를 효과적으로 통합할 수 있는가?

주요 결과

• AWESoME는 다섯 개인 다양한 언어 조합에서 최고 성능을 달성하며, 모든 설정에서 이전 방법들을 뛰어넘는 일관된 성능을 보였다.
• 모델는 강력한 제로샷 성능을 보이며, 피지컬 튜닝 기간 동안 볼 수 없었던 언어 조합으로도 잘 일반화되었다.
• 정렬 전용 목표로 피지컬 튜닝을 수행함으로써, 정렬된 단어 간 코사인 거리가 감소함으로써 더 잘 정렬된 컨텍스트 임베딩 표현을 확보하였다.
• 대부분의 경우, 최적 운반 이론 기반 정렬 추출이 단순한 확률 임계값 설정보다 더 정확한 결과를 도출하였다.
• 모델는 다국어 문장 표현 전이 능력을 향상시켜, 다국어 자연어 추론을 위한 XNLI 벤치마크에서 베이스라인을 능가하였다.
• 감독 신호를 통합함으로써 효과적인 반감독 학습이 가능해졌으며, 이는 추가로 정렬 정확도 향상에 기여하였다.