[논문 리뷰] Explicit Alignment Objectives for Multilingual Bidirectional Encoders

Junjie Hu, Melvin Johnson외 3명|arXiv (Cornell University)|2020. 10. 15.

Topic Modeling참고 문헌 31인용 수 10

한 줄 요약

이 논문은 병렬 데이터에서 두 가지 새로운 목적함수인 단어 수준의 주의 집중 일치와 문장 수준의 대비 학습을 통해 다국어 표현을 명시적으로 정렬하는 다국어 양방향 인코더인 amber를 소개한다. XLM-R-large보다 파arameter 수가 1/3.2이고 단일 언어 트레이닝 데이터는 1/23.8에 불과하지만, amber는 제로샷 다국어 전이 성능에서 최고 수준을 달성하였으며, 품사 태깅에서 최대 1.1 F1 점수 향상과 문장 검색에서 27.3의 정확도 향상을 기록하였다.

ABSTRACT

Pre-trained cross-lingual encoders such as mBERT (Devlin et al., 2019) and XLMR (Conneau et al., 2020) have proven to be impressively effective at enabling transfer-learning of NLP systems from high-resource languages to low-resource languages. This success comes despite the fact that there is no explicit objective to align the contextual embeddings of words/sentences with similar meanings across languages together in the same space. In this paper, we present a new method for learning multilingual encoders, AMBER (Aligned Multilingual Bidirectional EncodeR). AMBER is trained on additional parallel data using two explicit alignment objectives that align the multilingual representations at different granularities. We conduct experiments on zero-shot cross-lingual transfer learning for different tasks including sequence tagging, sentence retrieval and sentence classification. Experimental results show that AMBER obtains gains of up to 1.1 average F1 score on sequence tagging and up to 27.3 average accuracy on retrieval over the XLMR-large model which has 3.2x the parameters of AMBER. Our code and models are available at http://github.com/junjiehu/amber.

연구 동기 및 목표

• 단일 마스킹 언어 모델링으로만 훈련된 다국어 인코더에서의 명시적 다국어 정렬 부족 문제를 해결하기 위해.
• 사전 훈련 중 병렬 문장 집합에서의 감독을 통합하여 제로샷 다국어 전이 성능을 향상시키기 위해.
• 주의 일관성과 대비 학습을 활용해 단어 수준과 문장 수준에서 정렬을 향상시키기 위해.
• 작은 병렬 데이터로도 대규모 단일 언어 사전 훈련보다 다국어 전이에서 뛰어난 성능을 낼 수 있음을 보여주기 위해.
• 명시적 정렬 목적함수가 다양한 NLP 작업에서 자원이 적은 환경에서 더 나은 일반화 성능을 이끌어내는지 확인하기 위해.

제안 방법

• 기계 번역 문헌에서 영감을 얻어, 원천-대상 및 대상-원천 주의 행렬 간의 주의 일관성에 기반한 단어 수준의 정렬 목적함수를 도입한다.
• 작은 배치 내 문장 쌍에서 올바른 번역을 예측하도록 유도하는 문장 수준의 대비 학습 목적함수를 적용한다.
• 마스킹 언어 모델링(MLM), 번역 언어 모델링(TLM), 단어 정렬(WA), 문장 정렬(SA) 목적함수의 조합을 사용해 모델을 훈련시킨다.
• 문장 수준의 정렬을 위해 원천 및 대상 문장을 별도로 인코딩하고, 최종 레이어 표현을 평균하여 문장 임베딩을 구성한다.
• 원천 및 대상 문장 임베딩 간 코사인 유사도에 대한 대비 손실을 사용해 정렬을 최적화한다.
• 26GB의 병렬 데이터와 80GB의 단일 언어 위키백과 데이터를 사용해 훈련하였으며, 최종 모델은 XLM-R-large보다 훨씬 작다.

실험 결과

연구 질문

• RQ1 단어 수준과 문장 수준에서의 명시적 정렬 목적함수가 다국어 인코더의 제로샷 다국어 전이 성능을 향상시킬 수 있는가?
• RQ2 더 작은 모델이 명시적 정렬을 통해 더 큰 모델보다 훨씬 많은 단일 언어 데이터를 사용해 훈련한 경우에 비해 성능가능한가?
• RQ3 사전 훈련 중 병렬 데이터를 통합하는 것이 마스킹 언어 모델링에만 의존하는 것보다 더 나은 다국어 표현 정렬을 이끌 수 있는가?
• RQ4 제안된 정렬 목적함수는 품사 태깅, 문장 검색, 동의어 분류와 같은 다양한 NLP 작업에서 얼마나 향상된 성능을 낼 수 있는가?
• RQ5 다양한 병렬 훈련 데이터 양을 가진 언어들 사이에서 성능 향상 정도는 어떻게 달라지는가?

주요 결과

• XLM-R-large보다 파arameter 수가 1/3.2에 불과함에도 불구하고, amber는 제로샷 품사 태깅에서 평균적으로 1.1의 절대 F1 점수 향상을 기록하였다.
• 문장 검색에서 amber는 XLM-R-large보다 평균 27.3의 정확도 향상을 기록하여, 최소한의 데이터로도 뛰어난 정렬 성능을 보였다.
• 모든 목적함수(MLM+TLM+WA+SA)를 포함한 전체 모델은 Tatoeba 문장 검색 벤치마크에서 87.9%의 정확도를 달성하여 XLM-R-large를 27.3점 이상 앞섰다.
• 단지 26GB의 병렬 데이터만을 사용한 amber는 2.5TB의 단일 언어 CommonCrawl 데이터를 사용해 훈련된 XLM-R-large를 초월하였다.
• 성능 향상은 특히 병렬 데이터가 적은 저자원 언어에서 가장 두드러졌으며, 이는 강력한 일반화 능력을 시사한다.
• 제거 실험 결과, 단어 수준과 문장 수준의 정렬 목적함수가 모두 기여하며, 특히 문장 수준 목적함수가 가장 큰 향상을 이끌었다.