[논문 리뷰] Multilingual Alignment of Contextual Word Representations

Steven Cao, Nikita Kitaev외 1명|arXiv (Cornell University)|2020. 02. 10.

Topic Modeling참고 문헌 29인용 수 152

한 줄 요약

요약: 이 논문은 다국어 BERT를 위한 맥락적 정렬 절차를 도입하여 제로샷 XNLI 전이 성능을 향상시키고, 하류 성능과 상관관계가 있는 맥락적 단어 검색 지표를 제안한다. 정렬과 함께 상당한 이득을 보여주며 불가리아어와 그리스어에서 translate-train과 맞먹는 성능을 달성하고, 정렬의 강점과 약점을 분석한다.

ABSTRACT

We propose procedures for evaluating and strengthening contextual embedding alignment and show that they are useful in analyzing and improving multilingual BERT. In particular, after our proposed alignment procedure, BERT exhibits significantly improved zero-shot performance on XNLI compared to the base model, remarkably matching pseudo-fully-supervised translate-train models for Bulgarian and Greek. Further, to measure the degree of alignment, we introduce a contextual version of word retrieval and show that it correlates well with downstream zero-shot transfer. Using this word retrieval task, we also analyze BERT and find that it exhibits systematic deficiencies, e.g. worse alignment for open-class parts-of-speech and word pairs written in different scripts, that are corrected by the alignment procedure. These results support contextual alignment as a useful concept for understanding large multilingual pre-trained models.

연구 동기 및 목표

• 원시 제로샷 성능을 넘어서 다국어 BERT에 대한 이해를 동기 부여한다.
• 병렬 코퍼스에 걸친 단어 검색 과제를 사용하여 맥락적 정렬을 정의하고 측정한다.
• 병렬 데이터를 활용하는 다국어 BERT에 대해 미세조정 기반의 정렬 방법을 제안한다.
• 제로샷 교차언어 전이(XNLI)에 대한 정렬의 영향을 평가하고 기준선과 비교한다.
• 정렬에 영향을 미치는 언어학적 요인(품사 클래스와 문자 체계 차이)을 분석한다.

제안 방법

• 병렬 코퍼스와 단어 정렬을 활용한 맥락적 정렬 목표를 정의한다.
• 회수에 CSLS 기반 유사도를 사용하고, 정규화를 포함한 제곱 거리 손실을 최적화한다.
• 비영어 임베딩을 영어 방향으로 정렬하는 동시에 초기 사전 학습 값에 임베딩을 가깝게 유지하도록 정규화한다.
• 병렬 Europarl 데이터를 사용하여 여러 언어 쌍에 걸쳐 정렬을 함께 학습한다.
• 문장 증강된 fastText 기반 기준선 및 회전 기반 맥락적 정렬 방법과 비교한다.
• English MultiNLI에서 미세조정하고 불가리아어, 독일어, 그리스어, 스페인어, 프랑스어에서 평가하여 XNLI의 제로샷 전이를 평가한다.

실험 결과

연구 질문

• RQ1 맥락적 정렬이 다국어 BERT의 교차언어 전이를 기본 성능 이상으로 개선할 수 있는가?
• RQ2 제안된 정렬이 회전 기반 및 비맥락적 방법과 어떻게 비교되는가?
• RQ3 의미 있는 이득을 얻기 위해 필요한 데이터 효율성(병렬 데이터 양)은 어느 정도인가?
• RQ4 정렬 품질에 영향을 미치는 언어학적 요인(POS, 어휘 중복, 문자 체계 차이)은 무엇인가?

주요 결과

• 맥락적 정렬은 모든 언어에서 XNLI 제로샷 정확도를 크게 향상시키며 최소 1%의 이득을 제공하고 불가리아어와 그리스어에서 더 큰 상승을 보인다.
• 병렬 데이터를 정렬에 사용할 때 기본 모델 대비 평균 제로샷 향상은 2.78%이며, 불가리아어와 그리스어에서 translate-train의 상한에 근접한다.
• 미세조정된 맥락적 정렬은 fastText 기반 및 회전 기반 기준선을 능가하며, 정렬에서 맥락의 가치를 강조한다.
• 정렬은 다운스트림 전이와 강하게 상관하며, 맥락적 단어 검색을 교차-언어 성능의 예측 평가 지표로서 타당성을 입증한다.
• 정렬은 체계적 결함을 완화하고, 특히 오픈 클래스 대 폐쇄 클래스 품사 정렬 향상 및 문자 간 단어 쌍 처리에 도움을 준다.
• 언어쌍당 50K 병렬 문장으로 많은 이득이 달성되며, 10K 문장도 개선을 가져와 데이터 효율성을 강조한다.