[논문 리뷰] Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models

Karolina Stańczak, Edoardo Maria Ponti외 3명|arXiv (Cornell University)|2022. 05. 04.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 다국어 사전 훈련 모델이 언어 간에 공통되는 뉴런 부분집합에서 형태구문 정보(예: 성, 격, 시제 등)를 인코딩하는지 조사한다. 43개 언어에 대해 최신 잠재변수 뉴런 프로브를 사용한 결과, 특히 유사한 언어와 더 큰 사전 훈련 데이터를 사용할수록 형태구문 카테고리에 대해 의미 있는 다국어 뉴런 겹침이 나타나며, 이는 모델이 공통된 신경 표현을 통해 보편적인 문법 추상화를 학습한다는 것을 시사한다.

ABSTRACT

The success of multilingual pre-trained models is underpinned by their ability to learn representations shared by multiple languages even in absence of any explicit supervision. However, it remains unclear how these models learn to generalise across languages. In this work, we conjecture that multilingual pre-trained models can derive language-universal abstractions about grammar. In particular, we investigate whether morphosyntactic information is encoded in the same subset of neurons in different languages. We conduct the first large-scale empirical study over 43 languages and 14 morphosyntactic categories with a state-of-the-art neuron-level probe. Our findings show that the cross-lingual overlap between neurons is significant, but its extent may vary across categories and depends on language proximity and pre-training data size.

연구 동기 및 목표

• 다국어 사전 훈련 모델이 동일한 뉴런 부분집합에서 다양한 언어 간에 형태구문 기능을 인코딩하는지 조사하여, 제로샷 다국어 전이의 메커니즘을 제시한다.
• 모델이 어휘적 겹침이 없더라도 동일한 형태구문 기능을 위한 뉴런을 정렬함으로써 언어 간 보편적인 문법 추상화를 학습하는가를 검증한다.
• 언어 유형학적 유사성, 사전 훈련 데이터 크기, 모델 아키텍처와 같은 요소들이 뉴런 겹침에 미치는 영향을 조사한다.
• 다국어 표현에서의 다국어 뉴런 얽힘의 정도와 구조에 대한 실증적 증거를 제공한다.
• 뉴런 겹침이 제로샷 전이 성능과 모델 해석 가능성에 미치는 영향을 탐구한다.

제안 방법

• 연구는 Sta{\'c}czak 등(2022)의 잠재변수 프로브를 사용하여 각 언어의 각 형태구문 카테고리에 대해 가장 정보가 많은 k개 뉴런 부분집합을 식별한다.
• 프로브는 모든 뉴런 부분집합에 대한 난이도 높은 근사치를 위해 변동형 하한을 사용하며, 변동형 분포에 대한 포isson 표본 추출 기반 최적화를 통해 효율적인 계산을 가능하게 한다.
• 뉴런 부분집합은 조합적 비가역성로 인해 탐색이 어려우므로, 탐색을 위해 게으른 검색을 사용하여 후행 확률 최대화 기반으로 선택한다: C* = argmax_C log pθ(C | D).
• 이 방법은 m-BERT, XLM-R-base, XLM-R-large에 적용되며, UniMorph 레이블이 부여된 Universal Dependencies 2.1의 43개 언어에서 형태구문 기능을 프로브한다.
• 다국어 뉴런 겹침은 언어 쌍 간에 상위-k 뉴런 집합 간의 자카르 유사도로 측정되며, 통계적 유의성은 Holm–Bonferroni 보정을 통해 평가된다.
• 뉴런 겹침과 (a) 카테고리당 값 수, (b) 유형학적 유사성(Littell 등, 2017), (c) 사전 훈련 데이터 크기(CC-100용 XLM-R, m-BERT용 위키백과) 간의 상관관계 분석을 실시한다.

실험 결과

연구 질문

• RQ1 다국어 사전 훈련 모델은 성이나 시제와 같은 동일한 형태구문 기능을 서로 다른 언어 간에 겹치는 뉴런 부분집합에 인코딩하는가?
• RQ2 특히 값 목록이 큰 카테고리의 경우, 뉴런 겹침의 정도는 어떻게 변하는가?
• RQ3 언어적 유사성(예: 동일한 언어 계열)과 사전 훈련 데이터 크기의 영향은 어느 정도인가?
• RQ4 모델 크기(예: XLM-R-base 대 XLM-R-large)가 다국어 뉴런 엉키기 정도에 영향을 미치는가?
• RQ5 유형학적 유사성 또는 사전 훈련 데이터 볼륨과의 뉴런 겹침 간 통계적 상관관계는 있는가?

주요 결과

• 43개 언어에서 14개 형태구문 카테고리에 대해 다국어 뉴런 겹침이 유의미하게 관찰되었으며, XLM-R-base에서는 평균 44%, XLM-R-large에서는 41%의 겹침률을 보였다.
• 값의 수가 적은 카테고리에서 뉴런 겹침이 가장 높았으며, 예를 들어 XLM-R-base에서 동일성의 경우 평균 겹침률이 64%였다. 값의 수가 증가할수록 겹침률이 감소하여 표현력과 다국어 정렬 간의 상충관계가 드러났다.
• 동일한 계열 또는 비슷한 유형학적 특성을 가진 언어 간에는 뉴런 겹침이 유의미하게 높았으며, XLM-R-base에서 65%의 겹치는 뉴런 쌍이 동일한 계열에 속해 있었다.
• 사전 훈련 데이터 크기와 뉴런 겹침 간 상관관계는 강하게 나타났으며(Spearman의 ρ = 0.59, XLM-R-base), 더 큰 사전 훈련 데이터는 더 엉킨, 재사용 가능한 표현을 이끌어낸다.
• 더 큰 모델 아키텍처(XLM-R-large)는 더 작은 모델(XLM-R-base)보다 뉴런 겹침이 적었으며, 이는 능력이 증가함에 따라 다국어 압축과 엉킴이 감소할 수 있음을 시사한다.
• 뉴런 겹침과 유형학적 유사성 간의 상관관계는 양의 상관관계이며 유의미했으며(평균 ρ = 0.31), 특히 동일성과 성과 같은 카테고리에서 유형학적으로 제한된 특정 언어 가문에 속하는 경우 뚜렷했다.