[논문 리뷰] Locating Language-Specific Information in Contextualized Embeddings

Sheng Liang, Philipp Dufter외 1명|arXiv (Cornell University)|2021. 09. 16.

Topic Modeling참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다국어 컨텍스트 임베딩에서 언어별 정보를 식별하고 분석하여, 이들이 여러 차원에 분산되어 있으며 언어 수와 거의 동일한 차원 수를 가진 선형 부분공간으로 투영될 수 있음을 보여준다. DensRay와 LDA를 사용한 선형 투영을 통해 저층에서 언어별 정보가 가장 잘 분리됨을 발견하였으며, 미세조정 중 언어별 정보를 유지하도록 유도하는 활동 정규화(L-DAR)를 제안하여 NER 및 POS 태깅 작업에서 제로샷 다국어 전이 성능을 향상시켰다.

ABSTRACT

Multilingual pretrained language models (MPLMs) exhibit multilinguality and are well suited for transfer across languages. Most MPLMs are trained in an unsupervised fashion and the relationship between their objective and multilinguality is unclear. More specifically, the question whether MPLM representations are language-agnostic or they simply interleave well with learned task prediction heads arises. In this work, we locate language-specific information in MPLMs and identify its dimensionality and the layers where this information occurs. We show that language-specific information is scattered across many dimensions, which can be projected into a linear subspace. Our study contributes to a better understanding of MPLM representations, going beyond treating them as unanalyzable blobs of information.

연구 동기 및 목표

• 다국어 사전학습된 언어 모델(MPLMs)에서 언어별 정보가 어디에 어떻게 인코딩되어 있는지 조사하고, 이들이 언어에 관계없이 동일한지 또는 여러 차원에 산재해 있는지 확인하는 것.
• MPLMs에서 언어별 부분공간의 차원 수를 결정하고, 이 정보가 가장 두드러지게 나타나는 층을 특정하는 것.
• 미세조정 중 언어별 정보를 유지하는 것이 제로샷 다국어 전이 성능을 향상시키는지 평가하는 것.
• 언어별 정보 유지에 유리한 활동 정규화 방법(L-DAR)을 제안하고 검증하는 것.

제안 방법

• 저자들은 다국어 BERT(mBERT) 표현에서 언어별 부분공간을 찾기 위해 두 가지 선형 투영 방법(DensRay 및 선형 판별 분석(LDA))을 사용한다.
• DensRay는 임베딩 공간 내에서 언어 간 거리를 최대화하고, 동일 언어 내 거리를 최소화하도록 직교 변환을 수행한다.
• LDA는 클래스 중심점과 전체 평균을 사용하여 언어 클래스 간의 구분 가능한 방향을 식별하며, 비직교 변환을 수행한다.
• 양방법의 목적 함수에서 행렬의 질서에 의해 언어별 부분공간의 차원 수가 제한되며, 언어 수에 근접한 상한선을 가진다.
• 미세조정 중에 은닉 표현에 학습된 투영을 적용하여 언어별 정보 유지에 기여하는 활동 정규화(L-DAR)를 제안한다.
• 제로샷 다국어 전이를 위한 탐색 작업(언어 식별, 언어 유형학, 언어 유사도)과 하류 NLP 작업(POS 태깅, NER)에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 언어별 정보가 모델 아키텍처의 어디에 집중되어 있는가—차원과 층에 걸쳐서?
• RQ2 다국어 컨텍스트 임베딩에서 언어별 부분공간의 내재적 차원 수는 얼마인가?
• RQ3 미세조정 중 언어별 정보를 유지하는 것이 제로샷 다국어 전이 성능을 향상시키는가?
• RQ4 다른 선형 투영 방법(DensRay 대비 LDA)은 언어별 부분공간을 식별하는 데 어떻게 비교되는가?

주요 결과

• mBERT에서 언어별 정보는 많은 차원에 산재해 있지만, 언어 수와 거의 동일한 차원 수를 가진 선형 부분공간으로 투영될 수 있다.
• 언어별 정보는 네트워크의 저층에서 가장 잘 분리되며, 초기 층에서 더 나은 언어 구분 성능를 보인다.
• 제안된 L-DAR 정규화 방법은 제로샷 다국어 전이에서 소규모이지만 일관된 성능 향상을 이끌어내었으며, POS 태깅에서 0.3% F1 향상, 다중 소스 POS 태깅에서 0.5% 향상되었고, NER에서는 0.6% 감소하여 작업에 따라 영향을 받는다는 것을 시사한다.
• L-DAR는 상층에서 기준 mBERT보다 더 나은 성능을 보이며, 깊은 층에서 언어별 특징의 유지가 더 잘 이루어짐을 나타낸다.
• 언어별 부분공간의 상한 차원 수는 모델 크기나 아키텍처가 아니라 언어 수에 의해 결정된다.
• DensRay와 LDA는 모두 의미 있는 언어별 부분공간을 식별하지만, LDA는 전반적인 평균을 사용하여 클래스 간 분리에 유리해 하류 작업에서 略히 더 높은 성능를 보였다.