[논문 리뷰] A comprehensive comparative evaluation and analysis of Distributional Semantic Models.

Alessandro Lenci, Magnus Sahlgren외 3명|arXiv (Cornell University)|2021. 05. 20.

Topic Modeling참고 문헌 61인용 수 6

한 줄 요약

이 논문은 작업 기반 벤치마크와 Representational Similarity Analysis (RSA)를 모두 사용하여 정적 및 문맥 기반 분포적 의미 모델을 종합적으로 평가한다. 정적 DSMs가 문맥 외 의미 작업에서 BERT 기반 문맥 기반 벡터보다 뛰어난 성능을 보이며, RSA 분석을 통해 어휘 빈도와 어간 품사가 의미 표현에 중대한 영향을 미친다는 것이 밝혀졌다.

ABSTRACT

Distributional semantics has deeply changed in the last decades. First, predict models stole the thunder from traditional count ones, and more recently both of them were replaced in many NLP applications by contextualized vectors produced by Transformer neural language models. Although an extensive body of research has been devoted to Distributional Semantic Model (DSM) evaluation, we still lack a thorough comparison with respect to tested models, semantic tasks, and benchmark datasets. Moreover, previous work has mostly focused on task-driven evaluation, instead of exploring the differences between the way models represent the lexical semantic space. In this paper, we perform a comprehensive evaluation of type distributional vectors, either produced by static DSMs or obtained by averaging the contextualized vectors generated by BERT. First of all, we investigate the performance of embeddings in several semantic tasks, carrying out an in-depth statistical analysis to identify the major factors influencing the behavior of DSMs. The results show that i.) the alleged superiority of predict based models is more apparent than real, and surely not ubiquitous and ii.) static DSMs surpass contextualized representations in most out-of-context semantic tasks and datasets. Furthermore, we borrow from cognitive neuroscience the methodology of Representational Similarity Analysis (RSA) to inspect the semantic spaces generated by distributional models. RSA reveals important differences related to the frequency and part-of-speech of lexical items.

연구 동기 및 목표

• 분포적 의미 이론에서 다양한 의미 작업과 데이터셋을 대상으로 한 종합적이고 교차 모델 비교의 부족을 보완하기 위해.
• 예측 기반 모델이 다양한 의미 평가에서 전통적 카운트 기반 모델을 진정으로 뛰어넘는지 조사하기 위해.
• BERT의 문맥 기반 벡터를 레이어 평균화하여 정적 DSMs와 비교할 수 있는 정적 유사 벡터를 평가하기 위해.
• 작업 성능을 넘어서 분포적 모델이 어휘 의미 공간을 어떻게 표현하는지 내재적 차이를 분석하기 위해.
• 인지 신경과학에서 유래한 Representational Similarity Analysis (RSA)를 적용하여 의미 표현 간의 구조적 차이를 밝혀내기 위해.

제안 방법

• 표준 벤치마크 데이터셋을 사용하여 다양한 의미 작업(예: 어휘 유사도, 텍스트 유사도 등)에서 광범위한 평가를 수행한다.
• 모델 유형, 데이터셋, 작업 등 성능에 영향을 미치는 주요 요인을 규명하기 위해 통계 분석을 적용한다.
• 기존의 카운트 기반 및 예측 기반 모델(예: Skip-gram, CBOW)을 사용하여 정적 분포적 벡터를 생성한다.
• BERT 임베딩을 추출하고 레이어를 평균화하여 비교를 위한 정적 유사 벡터를 생성한다.
• 모델 간 의미 공간의 기하학적 구조를 비교하기 위해 Representational Similarity Analysis (RSA)를 활용한다.
• 어휘 빈도와 어간 품사에 따라 RSA 결과를 분석하여 체계적인 표현 편향을 규명한다.

실험 결과

연구 질문

• RQ1 예측 기반 모델이 카운트 기반 모델보다 다양한 의미 작업과 데이터셋에서 일관되게 우월한가?
• RQ2 정적 분포적 모델과 평균화된 BERT 문맥 기반 벡터는 문맥 외 의미 평가에서 어떻게 비교되는가?
• RQ3 Representational Similarity Analysis (RSA)를 통해 드러나는 다양한 DSMs가 생성하는 의미 공간 간의 구조적 차이는 무엇인가?
• RQ4 어휘 빈도와 어간 품사는 분포적 모델의 표현 유사성에 얼마나 영향을 미치는가?
• RQ5 문맥 기반 모델의 성과 향상은 진정으로 보편적인가, 아니면 특정 유형의 의미 작업에 국한되는가?

주요 결과

• 예측 기반 모델이 카운트 기반 모델보다 뛰어나다는 성과 우월성은 실제보다 더 두드러지게 나타나며, 모든 작업과 데이터셋에 걸쳐 보편적으로 적용되지 않는다.
• 정적 분포적 의미 모델은 문맥 외 의미 작업에서 평균화된 BERT 문맥 기반 벡터보다 일관되게 뛰어난 성능을 보인다.
• Representational Similarity Analysis (RSA)는 어휘 빈도와 어간 품사와 관련된 체계적인 의미 공간 구조적 차이를 드러낸다.
• 고빈도어휘와 내용어(예: 명사, 동사)는 다양한 모델 간에 더 강한 표현 일치를 보이며, 어휘 빈도에 대한 공통된 민감도를 나타낸다.
• 어간 품사 카테고리는 서로 다른 표현 패턴을 보이며, 내용어는 기능어보다 의미 공간에서 더 뚜렷한 군집을 이룬다.
• 문맥 기반 표현은 아키텍처적 복잡성에도 불구하고, 정적 벡터로 평균화될 경우 표준 의미 유사도 작업에서 성능 향상이 보편적으로 이루어지지 않는다.