[논문 리뷰] How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings

Kawin Ethayarajh|arXiv (Cornell University)|2019. 09. 01.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 BERT, ELMo, GPT-2의 숨겨진 상태의 기하학을 분석하여 이들의 단어 표현이 맥락에 얼마나 민감한지 조사한다. 분석 결과, 표현은 매우 비대칭적이며 상층부일수록 맥락에 더 민감하지만, 정적 임베딩에 의해 설명되는 맥락화된 표현의 분산은 5% 미만이었으며, 이는 비록 비대칭성에 대해 보정하더라도 여전히 맥락화된 표현이 유한한 단어의 의미 벡터 집합으로 환원될 수 없다는 것을 시사한다.

ABSTRACT

Replacing static word embeddings with contextualized word representations has yielded significant improvements on many NLP tasks. However, just how contextual are the contextualized representations produced by models such as ELMo and BERT? Are there infinitely many context-specific representations for each word, or are words essentially assigned one of a finite number of word-sense representations? For one, we find that the contextualized representations of all words are not isotropic in any layer of the contextualizing model. While representations of the same word in different contexts still have a greater cosine similarity than those of two different words, this self-similarity is much lower in upper layers. This suggests that upper layers of contextualizing models produce more context-specific representations, much like how upper layers of LSTMs produce more task-specific representations. In all layers of ELMo, BERT, and GPT-2, on average, less than 5% of the variance in a word's contextualized representations can be explained by a static embedding for that word, providing some justification for the success of contextualized representations.

연구 동기 및 목표

• BERT, ELMo, GPT-2와 같은 맥락화된 단어 모델의 표현이 실제로 얼마나 맥락에 민감한지 파악하는 것.
• 맥락화된 표현이 유한한 수의 단어의 의미 임베딩에 해당하는지, 아니면 무한한 수의 맥락 특화된 벡터에 해당하는지 조사하는 것.
• 특히 비대칭성과 유사도 구조를 포함한 기하학적 성질을 계층과 모델 간 비교하는 것.
• 맥락화된 표현의 첫 번째 주성분에서 파생된 정적 임베딩의 효과성을 평가하는 것.
• 맥락 특이성의 정도가 ELMo, BERT, GPT-2 간에 어떻게 다를지, 그리고 최종 성능에 어떤 영향을 미치는지 이해하는 것.

제안 방법

• 동일한 단어의 다른 맥락에서의 맥락화된 표현 간 코사인 유사도를 계산하여 맥락 특이성을 측정하는 것.
• 벡터 공간 내에서 단어 벡터가 좁은 원뿔 내에 집중되어 있는지를 측정하여 표현 공간의 비대칭성을 분석하는 것.
• 각 단어의 계층 전반에 걸친 맥락화된 표현의 첫 번째 주성분을 추출하기 위해 주성분 분석(PCA)을 사용하는 것.
• 첫 번째 주성분이 맥락화된 표현의 분산 중 얼마나 많은 비율을 설명하는지 측정하여 정적 임베딩로 환원 가능한지 평가하는 것.
• 비대칭성에 따라 유사도 점수를 보정하여 표현 공간 내 방향성 편향에서 진정한 맥락 특이성을 분리하는 것.
• PCA에서 파생된 정적 임베딩을 표준 단어 벡터 벤치마크(예: SimLex, MEN, WordSim, Google analogy)에서 평가하는 것.

실험 결과

연구 질문

• RQ1 BERT, ELMo, GPT-2의 맥락화된 단어 표현이 실제로 얼마나 맥락에 민감한가? 이는 정해진 수의 단어의 의미 벡터를 할당하는 것과는 어떻게 다를까?
• RQ2 표현 공간의 비대칭성은 맥락화된 임베딩의 해석과 성능에 어떤 영향을 미치는가?
• RQ3 맥락 특이성은 계층과 모델 간에 어떻게 다를까? 특히 ELMo, BERT, GPT-2 간의 차이점은 무엇인가?
• RQ4 맥락화된 표현의 첫 번째 주성분에서 유도된 정적 단어 임베딩이 GloVe나 FastText와 같은 전통적 정적 임베딩을 능가할 수 있는가?
• RQ5 비대칭성에 대해 보정한 후, 맥락화된 표현의 분산 중 하나의 정적 벡터로 설명할 수 있는 비율은 얼마인가?

주요 결과

• ELMo, BERT, GPT-2의 모든 계층에서 맥락화된 단어 표현은 비대칭적이며, 벡터들이 좁은 원뿔 내에 집중되어 있다. 특히 GPT-2의 마지막 계층은 비대칭성이 매우 심해 무작위 단어 쌍 간의 코사인 유사도가 거의 완벽하다.
• 다른 맥락에서의 동일한 단어 표현은 정확히 동일하지 않으며, 상층부로 갈수록 코사인 유사도가 감소함으로써 맥락 특이성이 증가함을 나타낸다.
• 비대칭성에 대해 보정한 후, 모든 계층과 모델에서 평균적으로 단어의 맥락화된 표현 분산의 5% 미만이 첫 번째 주성분에 의해 설명된다.
• 상층부에서 높은 맥락 특이성에도 불구하고, 하층부 표현의 첫 번째 주성분(특히 BERT의 첫 번째 계층)이 GloVe와 FastText보다 단어 벡터 벤치마크에서 더 뛰어난 성능을 보였다.
• 맥락 특이성의 표현 방식은 다르게 나타난다: ELMo는 상층부에서 문장 내 단어 간 유사도가 증가하는 경향을 보이며, BERT는 유사도 감소가 중간 정도로 나타나고, GPT-2는 이러한 증가가 없어 문장 내 단어 간 유사도가 무작위 쌍과 다름없다.
• GPT-2 표현의 주성분은 ELMo와 BERT의 주성분보다著적으로 열등한 성능을 보이며, 이는 매우 맥락 특화된 표현이 정적 근사치로는 효과적이지 않음을 시사한다.