[논문 리뷰] Inducing Language-Agnostic Multilingual Representations

Wei Zhao, Steffen Eger외 2명|arXiv (Cornell University)|2020. 08. 20.

Topic Modeling참고 문헌 33인용 수 16

한 줄 요약

이 논문은 다국어 컨텍스트 임베딩을 정규화하여 언어에 종속되지 않는 다국어 표현을 유도하는 단순하면서도 효과적인 방법을 제안한다—언어별 평균과 분산을 제거하고, 벡터 공간을 기준 언어에 재정렬하며, 입력 텍스트를 정규화한다. 핵심 기여는 이 세 가지 기법이 상호 보완적이며, 19종의 다양한 언어 유형에서 m-BERT 기준 8.9점, XLM-R 기준 18.2점의 교차 언어 전이 갭을 감소시킨다는 점이다. 이는 병렬 데이터나 비용이 많이 드는 재매핑이 필요 없이 저자원 언어 및 언어 유형이 다를 경우의 제로샷 전이 성능을 크게 향상시킨다.

ABSTRACT

Cross-lingual representations have the potential to make NLP techniques available to the vast majority of languages in the world. However, they currently require large pretraining corpora or access to typologically similar languages. In this work, we address these obstacles by removing language identity signals from multilingual embeddings. We examine three approaches for this: (i) re-aligning the vector spaces of target languages (all together) to a pivot source language; (ii) removing language-specific means and variances, which yields better discriminativeness of embeddings as a by-product; and (iii) increasing input similarity across languages by removing morphological contractions and sentence reordering. We evaluate on XNLI and reference-free MT across 19 typologically diverse languages. Our findings expose the limitations of these approaches -- unlike vector normalization, vector space re-alignment and text normalization do not achieve consistent gains across encoders and languages. Due to the approaches' additive effects, their combination decreases the cross-lingual transfer gap by 8.9 points (m-BERT) and 18.2 points (XLM-R) on average across all tasks and languages, however. Our code and models are publicly available.

연구 동기 및 목표

• m-BERT나 XLM-R와 같은 다국어 인코더의 낮은 교차 언어 전이 성능 문제를 해결하기 위해, 특히 저자원 언어나 언어 유형이 다를 경우에 초점을 맞춘다.
• 다국어 표현에서 언어 정체성 신호를 제거하여 대규모 미리 훈련된 코퍼스나 병렬 데이터에 대한 의존도를 줄인다.
• 입력 정규화, 벡터 공간 정규화, 재매핑 기법이 교차 언어 전이 성능 향상에 효과적이고 상호 보완적인지 평가한다.
• 언어 중심의 중심점 군집 분석과 언어 유형 상관관계를 분석하여, 결과적으로 생성된 표현이 진정으로 언어에 종속되지 않는지 조사한다.

제안 방법

• 언어 유형 특성에 따라 문장을 재정렬하고, 형태적 축약어를 제거하여 교차 언어 입력 유사도를 높이는 입력 수준의 정규화를 적용한다.
• 다국어 임베딩을 정규화하여 언어별 평균과 표준편차를 제거함으로써 구분 능력 향상과 언어 간 분산 감소를 도모한다.
• 선형 변환을 사용해 목표 언어의 벡터 공간을 기준 언어(예: 영어)에 재정렬하여 언어 간 거리 최소화를 달성한다.
• 입력 정규화, 벡터 공간 정규화, 재매핑 기법을 모두 덧셈 방식으로 조합하여 누적적인 성능 향상을 평가한다.
• 최신 기술인 m-BERT와 XLM-R를 사용해 제로샷 XNLI 및 병렬 데이터가 없는 기계 번역 평가(RFEval)에서 방법을 평가한다.
• 레이어별로, 그리고 데이터 크기와 영어와의 언어 유형 거리가 다른 언어 가문에서의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 입력 정규화, 벡터 공간 정규화, 재매핑 기법이 19종의 다양한 언어에서 XNLI 및 RFEval에서 제로샷 교차 언어 전이 성능에 얼마나 기여하는가?
• RQ2 이러한 기법들이 저자원 언어 및 언어 유형이 다를 경우의 교차 언어 전이 갭에 어떻게 영향을 미치는가?
• RQ3 정규화 및 재정렬된 표현에서 언어 정체성 신호가 얼마나 감소했는지 중심점 군집 분석을 통해 언어 중심점의 집합성과 언어 정체성 신호 감소 정도를 평가하면 어떻게 되는가?
• RQ4 임베딩 공간에서 유도된 언어 유사성은 전문가가 애너테이션한 언어 유형 특성(WALS)과 얼마나 관련이 있으며, 이러한 관련성은 기법 적용 후 어떻게 변화하는가?

주요 결과

• 입력 정규화, 벡터 공간 정규화, 재매핑 기법의 조합은 모든 작업과 언어에서 m-BERT 기준 평균 8.9점, XLM-R 기준 18.2점의 교차 언어 전이 갭 감소를 이룬다.
• 벡터 공간 정규화만으로도 훨씬 더 비용이 많이 드는 재매핑 방법과 유사한 성능 향상을 달성하며, 언어 및 인코더 간 일관성 있는 개선 효과를 보였다.
• 입력 정규화는 XNLI 및 RFEval에서 최대 4.7점의 성능 향상을 가져왔지만, 모든 언어에 대해 언어학적 특성이 가용한 경우에 한해 효과적이었다.
• 이 세 가지 기법은 대부분 상호 독립적이며, 효과가 덧셈 방식으로 누적되어, 교차 언어 표현 불일치의 서로 다른 측면을 다루고 있음을 시사한다.
• 정규화 및 재정렬된 벡터 공간에서 언어 정체성 신호가 뚜렷하게 감소했으며, 이는 가문 내 언어 중심점 군집이 더 격차가 좁아지고 WALS 언어 유형 특성과의 상관관계가 감소한 것으로 확인되었다.
• WALS와의 상관관계가 감소했음에도 불구하고, 수정된 표현은 여전히 의미 있는 구조적 유사성을 유지하고 있어, 더 언어에 종속되지 않으면서도 유용한 교차 언어 정보를 유지하고 있음을 시사한다.