[논문 리뷰] What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties

Rochelle Choenni, Ekaterina Shutova|arXiv (Cornell University)|2020. 09. 27.

Topic Modeling참고 문헌 31인용 수 29

한 줄 요약

이 논문은 WALS 데이터 기반으로 다국어 문장 인코더(LASER, M-BERT, XLM, XLM-R)를 사용하여 어휘, 형태, 문법 차원에서의 유형론적 특성에 대해 탐색 분류 접근법을 통해 분석한다. 결과적으로 단일 언어 사전 훈련(M-BERT, XLM-R)은 모든 레이어에서 언어 특화된 유형론적 특성을 더 잘 유지하는 반면, 다국어 사전 훈련(LASER, XLM)은 이러한 정보를 하위 레이어에 국한시키며 언어에 관계없는 표현을 강화함으로써 언어적 특수성을 희생한다.

ABSTRACT

Multilingual sentence encoders have seen much success in cross-lingual model transfer for downstream NLP tasks. Yet, we know relatively little about the properties of individual languages or the general patterns of linguistic variation that they encode. We propose methods for probing sentence representations from state-of-the-art multilingual encoders (LASER, M-BERT, XLM and XLM-R) with respect to a range of typological properties pertaining to lexical, morphological and syntactic structure. In addition, we investigate how this information is distributed across all layers of the models. Our results show interesting differences in encoding linguistic variation associated with different pretraining strategies.

연구 동기 및 목표

• 다국어 문장 인코더가 다양한 언어적 차원에서 언어의 유형론적 특성을 어떻게 인코딩하는지 조사하기 위해.
• 유형론적 정보가 모델 아키텍처의 어느 부분(즉, 어떤 레이어)에 저장되고 유지되는지 분석하기 위해.
• 다른 사전 훈련 전략(단일 언어 대 다국어)이 언어 다양성의 인코딩에 미치는 영향을 비교하기 위해.
• 언어에 관계없는 표현이 언어 특화된 유형론적 특성의 유지에 영향을 미치는지 평가하기 위해.
• XLM이 사전 훈련 중에 볼 수 없었던 언어의 유형론적 인코딩에서 일반화 능력을 평가하기 위해.

제안 방법

• WALS 데이터베이스의 유형론적 특성을 예측하기 위해 이진 또는 다중 분류 헤드를 사용해 네 개의 다국어 인코더(LASER, M-BERT, XLM, XLM-R)의 문장 표현을 탐색하기 위해.
• 변환기 인코더 레이어 전반에 걸쳐 유형론적 정보의 분포를 분석하기 위해 계층별 탐색 전략을 사용하기 위해.
• 각 유형론적 특성에 대해 매퍼-평균 F1 점수를 측정하기 위해 각 레이어마다 별도의 분류기 학습하기 위해.
• 최종 히든 상태에서 언어 표현의 기하학적 조직을 분석하기 위해 t-SNE 시각화를 적용하기 위해.
• 표현의 변화를 평가하기 위해 학습된 혼합 가중치와 KL 발산을 분석하기 위해.
• XLM의 사전 훈련 중에 볼 수 없었던 언어에 대해 제로샷 일반화 능력을 테스트하기 위해 그 유형론적 특성을 탐색하기 위해.

실험 결과

연구 질문

• RQ1 다국어 문장 인코더는 어순, 부정, 대명사 사용과 같은 유형론적 특성을 어느 정도 잘 인코딩하는가?
• RQ2 모델 아키텍처에서, 특히 어떤 레이어에 유형론적 정보가 국한되거나 유지되는가?
• RQ3 다른 사전 훈련 목표(단일 언어 대 다국어)가 언어 다양성의 인코딩에 어떤 영향을 미치는가?
• RQ4 일반성(언어에 관계없는 성향)과 언어 특화된 유형론적 특성의 유지 사이에 상충관계가 존재하는가?
• RQ5 XLM은 사전 훈련 중에 볼 수 없었던 언어의 유형론적 특성을 일반화하여 포착할 수 있는가?

주요 결과

• 모든 인코더가 어순, 부정, 대명사 관련 유형론적 특성을 성공적으로 포착하며, M-BERT와 XLM-R가 LASER와 XLM보다 어휘 및 형태적 특성에서 더 뛰어난 성능을 보였다.
• M-BERT와 XLM-R에서는 모든 레이어에 걸쳐 지속적으로 유형론적 정보가 인코딩되지만, LASER와 XLM에서는 주로 하위 레이어에 국한되어 고위 레이어에서는 소실되는 경향이 있었다.
• 다국어 사전 훈련 목표(LASER, XLM)는 더 언어에 관계없는 표현 공간을 만들어내며, 고위 레이어에서 언어들이 공통의 상호언어 공간으로 군집되게 하였고, 이는 언어 특화된 유형론적 세부 정보의 손실을 수반하였다.
• 단일 언어 사전 훈련 목표(M-BERT, XLM-R)는 심층 레이어에서도 언어 특화된 부분공간을 유지하도록 유도하여, 유형론적 다양성의 강한 유지 능력을 보였다.
• XLM은 볼 수 없었던 언어에 대해 일반화되며 성공적으로 그 유형론적 특성을 포착하였다. 이는 강력한 제로샷 전이 능력을 시사한다.
• 결과적으로 모델의 일반성과 언어 특화된 유형론적 정보의 유지 사이에 음의 상관관계가 존재하며, 다국어 훈련은 일반성을 증진시키지만 언어적 특수성은 희생한다는 점을 시사한다.