[논문 리뷰] Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses

Aina Garí Soler, Marianna Apidianaki|arXiv (Cornell University)|2021. 04. 29.

Natural Language Processing Techniques참고 문헌 56인용 수 13

한 줄 요약

이 논문은 BERT 및 다국어 BERT가 어휘 다의성과 의미 분할 가능성에 대한 지식을 어떻게 인코딩하는지 평가하기 위한 철저한 실험 프레임워크를 제안한다. 빈도와 어근 형태를 제어한 균형 잡힌 데이터셋을 사용하여, 저자들은 BERT 표현이 단의미어와 다의어를 효과적으로 구분하고, 의미가 얼마나 잘 군집화될 수 있는지 추정할 수 있음을 입증한다. 영어 BERT에서는 뛰어난 성능을 보였고, 다른 언어들에서도 뚜렷한 결과를 얻었다.

ABSTRACT

Pre-trained language models (LMs) encode rich information about linguistic structure but their knowledge about lexical polysemy remains unclear. We propose a novel experimental setup for analysing this knowledge in LMs specifically trained for different languages (English, French, Spanish and Greek) and in multilingual BERT. We perform our analysis on datasets carefully designed to reflect different sense distributions, and control for parameters that are highly correlated with polysemy such as frequency and grammatical category. We demonstrate that BERT-derived representations reflect words' polysemy level and their partitionability into senses. Polysemy-related information is more clearly present in English BERT embeddings, but models in other languages also manage to establish relevant distinctions between words at different polysemy levels. Our results contribute to a better understanding of the knowledge encoded in contextualised representations and open up new avenues for multilingual lexical semantics research.

연구 동기 및 목표

• 맥락 기반 언어 모델인 BERT가 어휘 다의성과 의미 구조에 대한 지식을 인코딩하는지 조사하기 위해.
• 다의성 분석에서 어휘 빈도와 문법적 범주와 같은 혼동 요인을 통제하기 위해.
• BERT 표현이 단어의 의미 공간이 얼마나 잘 분리되어 있는지 추정할 수 있는 능력을 평가하기 위해.
• 영어, 프랑스어, 스페인어, 그리스어 등의 단국어 BERT 모델과 다국어 BERT를 비교하여 다의성 관련 정보를 어떻게 포착하는지 평가하기 위해.
• 맥락 임베딩에서 어휘 의미 구조를 분석하기 위한 다국어 및 다분야 적용이 가능한 방법론적 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 단의미어와 다의어 단어 간에 빈도와 어근 형태가 균형 잡힌 분포를 보이도록 제어된 의미 분포를 가진 데이터셋을 설계하였다.
• 다양한 레이어에서의 BERT 표현을 사용하고, 맥락 기반 토큰 표현의 코사인 거리 행렬에 대해 군집화를 적용하였다.
• 군집 가능성은 실루엣(sil), 분산 비율(vr), 분리도(sep) 지표를 사용하여 평가하였으며, 이는 인간이 평가한 의미 유사도 기준(Usim)과 상관관계를 분석하였다.
• 군집 가능성 추정치와 인간이 애너테이션한 의미 유사도 기반의 기준 측정치(Uiaa, Umid) 사이의 슼머의 피어슨 상관계수를 계산하였다.
• BERT 표현의 각 레이어에서의 성능 평가를 통해 의미 다의성 지식이 네트워크 깊이에 따라 어떻게 분포되어 있는지 분석하였다.
• 자동으로 추정된 의미와 수작업으로 구성된 대체어(Gold-sub)를 비교하여 자동 의미 추정의 품질을 검증하였다.

실험 결과

연구 질문

• RQ1 BERT 표현은 다양한 언어와 모델 구성에서 단의미어와 다의어를 구분할 수 있는가?
• RQ2 BERT 표현은 의미가 분리되어 distinct한 의미로 나뉘는 정도를 어느 정도 반영하는가?
• RQ3 BERT가 다의성과 의미 군집 가능성 추정에서 인간 애너테이션 대체어보다 얼마나 우수한 성능을 보이는가?
• RQ4 BERT의 다의성 관련 지식은 사전 훈련 기간 동안 형성되었는가, 아니면 추론 시 맥락에 의해 형성되었는가?
• RQ5 BERT 아키텍처의 다양한 레이어에서 다의성 및 군집 가능성 추정 성능은 어떻게 변화하는가?

주요 결과

• 실루엣 지표를 사용한 BERT 표현 군집화에서, BERT 표현은 기준 인터-애너테이터 일치도(Uiaa)와 강한 상관관계(ρ = 0.80)를 보였다.
• 가장 뛰어난 성능을 보인 BERT 표현(BERT-Agg)은 Uiaa와 ρ = 0.69의 상관계수를 기록했으며, 수작업 대체어 기반 방법들(ρ = 0.20–0.34)보다 유의미하게 뛰어났다.
• Umid에 대해서는 BERT-Rep의 실루엣 지표가 ρ = -0.46를 기록하여 강한 음의 상관관계를 보이며 의미 군집 가능성 추정이 효과적으로 이루어졌음을 시사한다.
• 의미 다의성 탐지 능력은 BERT의 깊은 레이어에서 향상되었으며, Uiaa의 경우 레이어 10에서 최고 성능을 보였고, Umid 예측은 레이어 3과 8에서 피크를 보이며 비단조화적인 패턴을 보였다.
• 영어 BERT는 다의성과 의미 분할 가능성을 가장 잘 포착하는 것으로 나타났지만, 프랑스어, 스페인어, 그리스어 BERT 모델 역시 의미 있는 구분을 보였다.
• 결과적으로 BERT의 다의성 관련 지식는 주로 사전 훈련 기간 동안 획득되었으며, 맥락 기반 표현을 통해 안정적으로 접근 가능하다는 것이 확인되었다.