[논문 리뷰] A Systematic Analysis of Morphological Content in BERT Models for Multiple Languages

Daniel Edmiston|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 36인용 수 30

한 줄 요약

논문은 BERT 스타일 모델이 다섯 개의 유럽 언어에서 형태학적 특징을 어떻게 인코딩하는지 조사하며, 임베딩에서 볼 convex성, 특징-값 분리 가능성, 맥락적 구분의 이점, 주어-동사 일치 관련 표적 주의 집중과 관련된 주의 패턴을 보인다.

ABSTRACT

This work describes experiments which probe the hidden representations of several BERT-style models for morphological content. The goal is to examine the extent to which discrete linguistic structure, in the form of morphological features and feature values, presents itself in the vector representations and attention distributions of pre-trained language models for five European languages. The experiments contained herein show that (i) Transformer architectures largely partition their embedding space into convex sub-regions highly correlated with morphological feature value, (ii) the contextualized nature of transformer embeddings allows models to distinguish ambiguous morphological forms in many, but not all cases, and (iii) very specific attention head/layer combinations appear to hone in on subject-verb agreement.

연구 동기 및 목표

• 다수의 언어에 걸친 BERT 스타일 모델의 숨겨진 표현과 주의 분포에 이산적 형태학적 특징과 그 값이 반영되는지 평가한다.
• 임베딩 공간이 특징 값에 대응하는 볼록한 영역으로 구분되는지 판단한다.
• 맥락화된 임베딩이 형태학적으로 다의성 있는 형태의 구분에 도움이 되는지 평가한다.
• 주어-동사 일치를 비롯한 합의 관계를 주의 패턴이 드러내는지 다양한 언어에서 조사한다.

제안 방법

• 다국어 BERT-Base 모델에서 두 가지 주요 실험 패러다임을 수행한다: (a) 숨겨진 계층 임베딩으로부터 형태학적 특징 값을 k-평균, 선형 및 비선형 분류기를 사용하여 12개 계층에 걸쳐 지도 학습 분류; (b) 피어슨 카이제곱 기반 지표를 사용한 자기-주의 분포 분석으로 주의 머리와 계층에서 합의 패턴을 탐지한다.
• UD 트리뱅크와 UD 호환 어휘를 사용해 특징 값당 750개 예시를 샘플링(데이터 가용성에 따른 예외 있음)하여 학습/테스트 분할 85/15로 구성한다.
• 다음 특징들을 조사: 영어, 프랑스어, 독일어, 러시아어, 스페인어에 걸친 Case, Gender, Mood, Number, Person, Tense, Verb Form; 각 언어에 대해 사전 학습된 BERT-base 변형 모델을 사용한다.
• 특징의 복잡도(값의 수, 다의성)와 계층 깊이에 따른 성능을 평가하여 형태학적 정보가 가장 두드러지는 위치를 파악한다.

실험 결과

연구 질문

• RQ1 BERT 스타일 모델은 다수의 언어에서 숨겨진 표현에 형태학적 특징 값들을 인코딩하는가?
• RQ2 임베딩 공간이 특징 값에 대응하는 볼록한 영역으로 구분되어 선형 분리가 가능한가?
• RQ3 맥락화가 형태학적으로 다의성 있는 형태를 구분하는 데 도움이 되는가, 그리고 한계는 무엇인가?
• RQ4 주의 분포가 BERT 모델에서 합의 관계(주어-동사)를 드러낼 수 있으며, 이러한 신호가 특정 헤드/계층에 국한되어 있는가?
• RQ5 다의성과 특징 값의 수가 언어 간 형태학적 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 선형 분류기는 높은 F1 점수를 얻으며(대개 0.9를 넘음), 임베딩에서 특징 값에 따라 볼록하고 선형적으로 분리 가능한 영역을 나타낸다.
• K-평균 클러스터링 성능은 대체로 무작위 기준선에 근접하여, 감독 학습이 형태학적 정보 추출을 크게 돕는다는 것을 시사한다.
• 중간에서 후기 계층이(언어에 따라 다름) 특징-값 분류를 가장 잘 지원하며, 독일어와 러시아어에서 계층 기반 경향이 가장 강하게 나타난다.
• 맥락화된 임베딩은 형태학적으로 다의성 있는 형태의 구분을 개선하나, 특히 매우 동형형 형태의 경우 완전히 해결하진 못한다.
• 주의 분석은 합의 관계를 포착하는 헤드-계층 조합의 소수만이 통계적으로 유의한 평균 Agree 점수를 가지며, 언어 전반에 걸쳐 초중간 계층에 집중됨을 보인다.
• 형태가 비교적 단순한 언어(영어, 프랑스어, 스페인어)는 계층 전반에서 견고한 성능을 보이는 반면, 독일어와 러시아어는 특정 작업에서 계층별 피크가 더 명확하다.
• 전반적으로 BERT 스타일 모델의 형태학적 정보는 중간 계층에서 가장 뚜렷하며, 합의 현상에 대해 특정 주의-헤드/계층 쌍으로 국지화될 수 있다.