[논문 리뷰] How COVID-19 Is Changing Our Language : Detecting Semantic Shift in Twitter Word Embeddings

Yanzhu Guo, Christos Xypolopoulos외 1명|arXiv (Cornell University)|2021. 02. 15.

Opinion Dynamics and Social Influence참고 문헌 17인용 수 8

한 줄 요약

이 연구는 초기 코로나19 패닉 기간 동안 트위터 언어의 의미 변화를 탐지하기 위해 월간 단위의 워드 임베딩을 훈련하고 회전 변환 매핑을 통해 정렬한다. 주요 의미 변화가 특히 팬데믹 이전과 이후 언어 간에 발생했으며, 새로운 법칙을 규명한다: 팬데믹 관련 트윗에서 빈도가 높은 단어일수록 의미 변화에 더 취약하다.

ABSTRACT

Words are malleable objects, influenced by events that are reflected in written texts. Situated in the global outbreak of COVID-19, our research aims at detecting semantic shifts in social media language triggered by the health crisis. With COVID-19 related big data extracted from Twitter, we train separate word embedding models for different time periods after the outbreak. We employ an alignment-based approach to compare these embeddings with a general-purpose Twitter embedding unrelated to COVID-19. We also compare our trained embeddings among them to observe diachronic evolution. Carrying out case studies on a set of words chosen by topic detection, we verify that our alignment approach is valid. Finally, we quantify the size of global semantic shift by a stability measure based on back-and-forth rotational alignment.

연구 동기 및 목표

• 글로벌 코로나19 패닉으로 인한 소셜 미디어 언어의 의미 변화를 탐지하고 정량화하는 것.
• 분포적 의미론과 워드 임베딩를 활용하여 팬데믹이 시간이 지남에 따라 단어 의미에 미친 영향을 조사하는 것.
• 다른 시기의 워드 임베딩 간 비교에 있어 정렬 기반 방법의 효과성을 검증하는 것.
• 예를 들어 '일관성의 법칙'과 같은 기존의 의미 변화 법칙이 위기 유도 언어 변화 기간 동안 유지되는지 테스트하는 것.
• 팬데믹 특화 언어에서 빈도와 안정성 상관관계를 분석하여 의미 변화의 새로운 패턴을 발견하는 것.

제안 방법

• 트위터에서 코로나19 관련 트윗 3개월 분량을 수집하고 처리하여 월별로 분할.
• 2020년 4월, 5월, 6월 각각의 월별로 분포적 의미론을 사용하여 별도의 워드 임베딩 모델을 훈련.
• 비교를 위해 팬데믹 이전의 일반적인 트위터 워드 임베딩 모델을 사전에 훈련.
• 시간과 코퍼스 간 임베딩 공간을 정렬하기 위해 최적의 선형 변환 기반의 회전 정렬 방법을 적용.
• 정렬의 기준점으로 상위 1000개의 가장 빈도 높은 단어를 사용하며, Hamilton 등(2016)의 '일관성의 법칙'을 활용.
• 의미 이탈 정도를 평가하기 위해 완전한 정방향-역방향 회전 정렬 측정법을 사용하여 의미 안정성을 정량화.

실험 결과

연구 질문

• RQ1 코로나19 팬데믹이 트위터 언어의 의미 변화에 얼마나 큰 영향을 미쳤는가?
• RQ2 팬데믹 초기 단계(2020년 4월~6월) 동안 의미 변화는 어떻게 시간이 지남에 따라 변화하는가?
• RQ3 예를 들어 '일관성의 법칙'과 같은 기존의 의미 변화 법칙이 위기 유도 언어 변화 기간 동안 유지되는가?
• RQ4 사건 특화 코퍼스에서의 단어 빈도와 의미 안정성 또는 변화 사이에 새로운 패턴이 존재하는가?
• RQ5 교차 코퍼스(팬데믹 이전 대비 팬데믹 이후)와 역동적 비교(월별) 간 안정성 분포는 어떻게 다른가?

주요 결과

• 팬데믹 이전과 이후 임베딩 간 안정성 분포는 0에 가까운 왼쪽 기울어진 분포를 보이며, 이는 교차 코퍼스 의미 변화가 뚜렷하게 존재함을 시사한다.
• 4월에서 6월 사이의 역동적 안정성 분포는 약간의 정규분포를 띠며 중심이 약 0.4에 위치해 있어 시간이 지남에 따라 지속적이지만 다소 덜 극명한 변화가 있음을 나타낸다.
• 팬데믹 이전의 단어 빈도에 대해 '일관성의 법칙'이 유지되었으며, 희귀어일수록 안정성이 더 높았고, 이는 이전 연구 결과와 일치한다.
• 새로운 의미 변화 법칙이 규명되었다: 팬데믹 특화 데이터셋에서 빈도가 높은 단어일수록 더 강한 의미 변화를 겪었으며, 이는 팬데믹 이후 빈도와 안정성 사이에 부정적 상관관계가 있음을 시사한다.
• 사례 연구를 통해 '격리', '영웅', '인종차별', 'AI'와 같은 단어들이 뚜렷한 의미 변화를 겪었음을 확인했으며, 특히 4월에 '인종차별'이라는 단어가 아시아계 혐오 감정과 강하게 연결된 것으로 나타났다.
• 정렬 방법의 효과성이 입증되었으며, 사례 연구에서 특정 단어와 그 의미 이웃 단어들의 유사도 추세가 시간이 지남에 따라 일관되게 유지됨을 확인했다.