[논문 리뷰] SemGloVe: Semantic Co-occurrences for GloVe from BERT

Leilei Gan, Zhiyang Teng외 4명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 BERT의 의미적 공존 정보를 추출하여 GloVe 단어 임베딩을 향상시키는 SemGloVe를 제안한다. 이는 자기주의 주의 가중치 또는 마스크된 언어 모델 로짓을 사용하여 더 의미적인 공존 빈도를 생성한다. 실험 결과 SemGloVe는 단어 유사도 및 하류 NLP 작업에서 GloVe를 능가하며, 국소적 윈도우를 넘어서 더 넓고 의미적인 단어 쌍을 포착함으로써 더 나은 클러스터링과 정확도를 달성한다.

ABSTRACT

GloVe learns word embeddings by leveraging statistical information from word co-occurrence matrices. However, word pairs in the matrices are extracted from a predefined local context window, which might lead to limited word pairs and potentially semantic irrelevant word pairs. In this paper, we propose SemGloVe, which distills semantic co-occurrences from BERT into static GloVe word embeddings. Particularly, we propose two models to extract co-occurrence statistics based on either the masked language model or the multi-head attention weights of BERT. Our methods can extract word pairs without limiting by the local window assumption and can define the co-occurrence weights by directly considering the semantic distance between word pairs. Experiments on several word similarity datasets and four external tasks show that SemGloVe can outperform GloVe.

연구 동기 및 목표

• GloVe의 국소적 윈도우 기반 공존 빈도 계산 방식이 단어 쌍 탐색을 제한하고 히ュ리스틱 거리 함수를 사용한다는 한계를 해결하기 위해.
• 통계적 빈도 대신 BERT에서 유도된 의미적 유사도를 사용하여 글로벌 단어 공존 행렬의 품질을 향상시키기 위해.
• 맥락에 의존하지 않는 정적 단어 임베딩을 생성하면서도, 맥락 기반 BERT 표현에서 풍부한 의미 정보를 유지하기 위해.
• BERT에서 유도된 의미적 공존 정보가 내재적(예: 단어 유사도) 및 외재적(예: 품사 태깅, NER) NLP 작업에서 더 나은 성능을 내는지 평가하기 위해.

제안 방법

• SemGloVe는 GloVe의 위치 기반 거리 함수를 대체하기 위해 BERT의 멀티헤드 자기주의 주의 가중치를 의미적 유사도 측정 수단으로 사용하여 단어 쌍 간의 공존 점수를 정의한다.
• 첫 번째 모델인 SemGloVe sd는 주의 가중치 기반으로 상위-k 문맥 단어를 추출하고, 이러한 단어를 사용해 주의 점수를 가중치로 하는 공존 행렬을 구축한다.
• 두 번째 모델인 SemGloVe md는 타겟 단어를 마스킹한 후, 마스크된 토큰 예측의 출력 로짓을 공존 가중치로 사용하여 국소적 윈도우를 초월한 글로벌 맥락을 포착한다.
• 분할 기반 거리 함수를 도입하여 주의 또는 MLM 로짓을 효과적인 공존 가중치로 정규화하고 스케일링한다.
• 결과적으로 생성된 공존 행렬은 GloVe의 목적 함수를 사용하여 인수 분해되어 정적 단어 임베딩을 학습한다.
• 이 방법은 서브워드 수준의 공존 빈도 계산을 허용하여, 예를 들어 'egyptologist'와 'egypt', 'archaeologist' 간의 서브워드 쌍을 통해 의미 표현을 풍부하게 한다.

실험 결과

연구 질문

• RQ1 BERT의 맥락 기반 표현을 효과적으로 글로벌 공존 행렬으로 추출하여 정적 단어 임베딩을 향상시킬 수 있는가?
• RQ2 GloVe의 위치 기반 거리 함수를 BERT의 주의 또는 MLM 로짓으로 대체하면 더 의미적인 공존 빈도를 얻을 수 있는가?
• RQ3 SemGloVe는 GloVe가 국소적 윈도우 제약으로 인해 놓친 관련 단어 쌍을 발견할 수 있는가?
• RQ4 SemGloVe는 GloVe보다 내재적 단어 유사도 및 외재적 NLP 작업에서 더 나은 성능을 내는가?
• RQ5 SemGloVe의 다양한 구성 요소(예: 주의 vs. MLM, 윈도우 크기)가 최종 임베딩 품질에 어떤 영향을 미치는가?

주요 결과

• SemGloVe는 단어 유사도 데이터셋에서 GloVe를 능가하며, SemGloVe md가 가장 우수한 성능을 보여, BERT에서 유도된 공존 정보가 의미 표현을 향상시킨다는 것을 시사한다.
• 모델은 GloVe가 놓친 의미적으로 관련 있는 단어 쌍, 예를 들어 'king-crown'과 'himself-one'을 성공적으로 포착한다. 이들은 국소적 윈도우에 포함되지 않지만 의미적으로 관련이 있다.
• SemGloVe md는 의미적으로 관련된 쌍에 대해 유의미하게 높은 공존 빈도를 생성한다. 예를 들어 'egyptologist-egyptian'의 경우 8.58×10³로 GloVe의 11.32보다 훨씬 높은 값을 기록하여 더 풍부한 의미 신호를 반영한다.
• t-SNE 시각화 결과 SemGloVe md는 도시, 시간, 정치 등 단어 유형 간에 더 단단하고 분리 가능한 클러스터를 생성하는 반면, GloVe는 산산이 흩어진 이질적 외곽선을 보인다.
• 절단 실험 결과 SemGloVe md에서 윈도우 크기를 줄이면 성능이 떨어지며, 더 넓은 맥락(10단어)을 사용하는 SemGloVe sd는 여전히 GloVe를 능가함으로써 윈도우 크기 변화에 대해 강건함을 보여준다.
• SemGloVe sdR은 SemGloVe sd의 빈도를 GloVe의 것으로 대체한 것으로, 성능이 거의 동일하게 유지되어 개선 효과가 의미적 공존 메커니즘에서 기인하며 윈도우 크기 때문이 아니라는 것을 확인한다.