[논문 리뷰] The Geometry of Multilingual Language Model Representations

Tyler A. Chang, Zhuowen Tu외 1명|arXiv (Cornell University)|2022. 05. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 XLM-R의 다국어 언어 모델 표현의 기하학적 구조를 분석하여, 언어별 특화된 특징과 언어에 관계없는 특징이 수직인 부분공간에 각각 인코딩되어 있음을 밝혀냈다. 평균 중심화 후 언어 부분공간은 매우 유사하며, 이 차이는 어휘와 같은 언어별 특화된 특징을 포함한다. 언어에 관계없는 축은 토큰의 위치와 품사 정보를 유지하여, 계층 간에 안정적이고 해석 가능한 특징 추출을 가능하게 한다.

ABSTRACT

We assess how multilingual language models maintain a shared multilingual representation space while still encoding language-sensitive information in each language. Using XLM-R as a case study, we show that languages occupy similar linear subspaces after mean-centering, evaluated based on causal effects on language modeling performance and direct comparisons between subspaces for 88 languages. The subspace means differ along language-sensitive axes that are relatively stable throughout middle layers, and these axes encode information such as token vocabularies. Shifting representations by language means is sufficient to induce token predictions in different languages. However, we also identify stable language-neutral axes that encode information such as token positions and part-of-speech. We visualize representations projected onto language-sensitive and language-neutral axes, identifying language family and part-of-speech clusters, along with spirals, toruses, and curves representing token position information. These results demonstrate that multilingual language models encode information along orthogonal language-sensitive and language-neutral axes, allowing the models to extract a variety of features for downstream tasks and cross-lingual transfer learning.

연구 동기 및 목표

• 다국어 언어 모델이 언어별 정보를 유지하면서도 공통된 표현 공간을 유지하는 방식을 이해하는 것.
• XLM-R의 표현 공간에서 언어 민감성과 언어 중립성 축을 식별하고 특성화하는 것.
• 인과 분석 및 시각화 기법을 활용해 이러한 부분공간이 모델 계층 간에 안정적이고 해석 가능한지 평가하는 것.
• 평균 중심화의 기하학적 역할이 언어 부분공간을 정렬하고 기능 특화 방향을 분리하는 데 기여하는지 평가하는 것.
• 해석 가능한 다국어 표현 학습과 표적 부분공간 정렬을 위한 기반을 마련하는 것.

제안 방법

• XLM-R에서 88개 언어에 대해 문맥 기반 토큰 표현에 특이값 분해(SVD)를 적용하여 애핀 부분공간을 식별했다.
• 언어별 특화된 또는 언어 중립성 축을 제거했을 때 언어 모델링 성능에 미치는 영향을 평가하기 위해 인과적 제거 기법을 사용했다.
• 시각화 및 분석을 위해 언어 민감성 및 언어 중립성 축으로 정의된 저차원 부분공간에 표현을 투영했다.
• 평균 중심화 후 직접 기하학적 비교를 통해 언어 부분공간 간 유사성과 정렬 정도를 평가했다.
• 2D 및 3D 투영을 사용해 군집(예: 언어 가문, 품사)과 위상적 구조(예: 나선형, 토러스)를 식별했다.
• 중간 및 후중간 계층에서 안정적인 축을 기반으로 선택하여 토큰 위치 및 품사 정보와 같은 기능을 분리했다.

실험 결과

연구 질문

• RQ1 XLM-R와 같은 다국어 모델에서 언어 부분공간이 평균 중심화 후 더 유사해지는가? 이는 공통 표현 학습에 어떤 의미를 갖는가?
• RQ2 표현 공간에서 언어 민감성 정보를 담고 있는 축은 무엇이며, 모델 계층 간에 얼마나 안정적인가?
• RQ3 토큰 위치 및 품사와 같은 언어 중립성 특징을 담고 있는 축은 무엇이며, 기하학적으로 어떻게 구성되어 있는가?
• RQ4 부분공간 이동을 통해 언어별 특화 정보를 고립하고 조작할 수 있는가? 이는 최종 성능에 영향을 미치는가?
• RQ5 표현 공간에서 토러스나 나선형과 같은 위상적 구조는 어떻게 발생하며, 어떤 특징을 담고 있는가?

주요 결과

• 평균 중심화 후 XLM-R에서 88개 언어의 언어 부분공간은 매우 유사하여 안정적인 공통 표현 구조를 나타낸다.
• 부분공간 평균 간의 차이는 어휘 및 언어 가문과 같은 언어 민감성 정보를 포함하며, 이 축은 중간 계층에서 안정성을 유지한다.
• 언어 중립성 축은 토큰 위치와 품사를 일관되게 인코딩하며, 시각화에서 안정적이고 해석 가능한 구조(예: 토러스, 나선형)를 형성한다.
• 언어별 평균을 기반으로 표현을 이동시키는 것만으로도 다른 언어에서 정확한 토큰 예측이 가능함을 보여주어 부분공간 정렬의 유용성을 입증한다.
• 표현 공간은 언어별 특화된 특징과 공통된 특징을 수직으로 인코딩할 수 있어 효율적인 특징 추출과 교차 언어 전이를 가능하게 한다.
• 시각화 결과 언어 가문 및 품사에 따라 명확한 군집이 형성되며, 수직 인코딩 덕분에 기능 간 간섭이 최소화된다.