[논문 리뷰] What do you mean, BERT? Assessing BERT as a Distributional Semantics Model

Timothee Mickus, Denis Paperno외 2명|arXiv (Cornell University)|2019. 11. 13.

Topic Modeling참고 문헌 57인용 수 60

한 줄 요약

본 논문은 BERT의 맥락 임베딩이 일관된 분포적 의미 공간을 형성하는지 평가하고, 단어 유형의 응집성과 BERT의 세분화 및 다음 문장 예측 목적에 의해 도입된 문장 간 효과를 검토한다.

ABSTRACT

Contextualized word embeddings, i.e. vector representations for words in context, are naturally seen as an extension of previous noncontextual distributional semantic models. In this work, we focus on BERT, a deep neural network that produces contextualized embeddings and has set the state-of-the-art in several semantic tasks, and study the semantic coherence of its embedding space. While showing a tendency towards coherence, BERT does not fully live up to the natural expectations for a semantic vector space. In particular, we find that the position of the sentence in which a word occurs, while having no meaning correlates, leaves a noticeable trace on the word embeddings and disturbs similarity relationships.

연구 동기 및 목표

• BERT의 맥락 임베딩이 분포론적 의미의 기대와 얼마나 잘 일치하는지 평가한다.
• 동일한 단어 유형이 BERT의 임베딩 공간에서 응집력 있는 군집을 형성하는지 시험한다.
• BERT 표현의 문장 간 일관성과 세그먼트 유도 바이어스를 조사한다.

제안 방법

• BERT를 블랙박스로 간주하고 토큰의 최종 레이어 임베딩을 추출한다.
• 토큰 임베딩 전반에서 단어 유형의 응집력을 평가하기 위해 실루엣 점수를 사용한다.
• 문장 간 바이어스를 측정하기 위해 세그먼트 인코딩과 잔차 연결을 분석한다.
• 세그먼트 간 토큰 그룹의 응집력을 테스트하기 위해 평균제곱오차(MSE)를 계산한다.
• 문장 내 및 연속 문장 간의 코사인 유사도를 비교하여 문장 수준의 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 BERT의 맥락 임베딩 공간에서 단어 유형이 자연스럽고 응집력 있는 군집을 형성하는가?
• RQ2 다른 문장 세그먼트(세그먼트 A 대 세그먼트 B)에서 토큰 간의 의미상 무관한 차이를 BERT가 도입하는가, 그리고 이것이 일관성에 어떤 영향을 미치는가?
• RQ3 세그먼트 인코딩 및 위치 인코딩이 BERT의 문장 간 및 문장 내 의미 관계에 어떤 영향을 미치는가?
• RQ4 BERT가 생성한 문장 수준 표현이 분포론적 의미 벤치마크에 적합한 일관된 의미를 보여주는가?

주요 결과

• BERT의 단어 유형 응집력은 존재하지만 약하다: 토큰의 약 25.9%가 음의 실루엣 점수를 가지며, 유형의 10%는 음의 점수만 포함한다.
• 단어 쌍의 평균 BERT 임베딩 간 코사인 유사도는 인간의 유사도 평가와 상관관계가 있으며(Spearman 0.705), Word2Vec 기준선(0.669)보다 우수하다.
• 문장 간 일관성은 유의한 세그먼트 효과를 보이며, 서로 다른 세그먼트의 토큰이 세그먼트 인코딩과 잔차로 인해 체계적인 바이어스를 보인다; 효과 크기는 중간 정도(d = -0.527).
• 많은 항목에서 세그먼트 간 같은 타입의 임베딩이 다른 세그먼트 평균보다 해당 세그먼트 평균과 더 일관되며, 세그먼트 바이어스가 부분적으로 보존됨을 시사한다.
• 하나의 문장 입력 방식을 사용할 때 BERT의 문장 표현은 STS 및 SICK-R 벤치마크에서 경쟁력 있는 상관관계를 보이지만, 두 문장 입력 방식에서는 성능이 Word2Vec 이하로 저하된다.