[논문 리뷰] Words are Malleable: Computing Semantic Shifts in Political and Media Discourse

Hosein Azarbonyad, Mostafa Dehghani외 4명|arXiv (Cornell University)|2017. 11. 15.

Opinion Dynamics and Social Influence참고 문헌 33인용 수 15

한 줄 요약

이 논문은 정치적 당파나 시기별로 나뉘는 시각에 따라 단어의 의미 변화를 탐지하기 위한 프레임워크를 제안한다. 이는 특정 시각에 맞춰 훈련된 단어 임베딩을 사용하며, 선형 변환과 이웃 유사도를 통해 임베딩 공간 간의 단어 벡터를 비교한다. 저자들은 의미 변화가 시간이 지남에만 발생하는 것이 아니라 사회적·이데올로기적 맥락에서도 발생함을 보이며, 병합된 측정 방식이 이데올로기 탐지 및 요약 작업에서 개별 접근 방식보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Recently, researchers started to pay attention to the detection of temporal shifts in the meaning of words. However, most (if not all) of these approaches restricted their efforts to uncovering change over time, thus neglecting other valuable dimensions such as social or political variability. We propose an approach for detecting semantic shifts between different viewpoints--broadly defined as a set of texts that share a specific metadata feature, which can be a time-period, but also a social entity such as a political party. For each viewpoint, we learn a semantic space in which each word is represented as a low dimensional neural embedded vector. The challenge is to compare the meaning of a word in one space to its meaning in another space and measure the size of the semantic shifts. We compare the effectiveness of a measure based on optimal transformations between the two spaces with a measure based on the similarity of the neighbors of the word in the respective spaces. Our experiments demonstrate that the combination of these two performs best. We show that the semantic shifts not only occur over time, but also along different viewpoints in a short period of time. For evaluation, we demonstrate how this approach captures meaningful semantic shifts and can help improve other tasks such as the contrastive viewpoint summarization and ideology detection (measured as classification accuracy) in political texts. We also show that the two laws of semantic change which were empirically shown to hold for temporal shifts also hold for shifts across viewpoints. These laws state that frequent words are less likely to shift meaning while words with many senses are more likely to do so.

연구 동기 및 목표

• 시간뿐 아니라 정치적·사회적 시각(예: 정치당 등) 간 의미 변화를 연구하기 위해.
• 다른 시각 전용 코퍼스에서 훈련된 단어 임베딩 간의 의미 변화를 정량화하는 방법을 개발하기 위해.
• 기존의 의미 변화 법칙(예: 빈도 효과 및 다의어 효과)이 시간적 변화 외에도 이데올로기적 또는 사회적 차원으로 확장되는지 평가하기 위해.
• 계산된 단어 안정성 측정치를 활용해 대비되는 시각 요약 및 이데올로기 탐지와 같은 후행 NLP 작업을 향상시키기 위해.
• 이 프레임워크가 실제 논의, 즉 정치 연설 및 미디어 텍스트에 적용 가능한지 탐색하기 위해.

제안 방법

• 정치적 당파(예: 영국 의회의 보수당 및 노동당)와 같은 특정 시각에 맞춰 레이블이 부여된 코퍼스를 기반으로 분포적 의미 이론을 사용해 각 시각에 대해 별도의 단어 임베딩 공간을 훈련한다.
• 선형 변환(최적의 운반 또는 회귀를 통해)을 적용하여 한 임베딩 공간의 단어 벡터를 다른 공간으로 매핑함으로써 공간 간 의미 유사도를 평가한다.
• 그래프 기반 이웃 유사도 측정치를 구성하여, 각 시각의 임베딩 공간에서 이웃 단어의 코사인 유사도를 기반으로 단어 유사도를 계산한다.
• 선형 매핑과 이웃 유사도를 융합하여 복합 안정성 측정치를 구성함으로써 강건성과 성능을 향상시킨다.
• 결과적으로 도출된 단어 안정성 점수를 문서 분류 및 대비 요약과 같은 후행 작업의 특징으로 사용한다.
• 영국 의회 논의와 뉴욕타임스 데이터셋에서 프레임워크를 평가하여, 다양한 시각 조합과 시기 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 의미 변화가 시간뿐 아니라 정치적 또는 사회적 시각 간에도 얼마나 널리 퍼져 있는가?
• RQ2 선형 매핑과 이웃 유사도 측정치가 특정 시각에 맞춰 훈련된 단어 임베딩 공간 간의 의미 변화를 탐지하는 데 얼마나 효과적인가?
• RQ3 기존의 의미 변화 법칙(예: 일관성 법칙(빈도가 높은 단어는 안정적임) 및 혁신 법칙(다의어 단어는 더 불안정함))이 시간 외의 차원, 예를 들어 정치 이데올로기와 같은 비시간적 차원으로도 적용되는가?
• RQ4 단어 안정성 측정치가 이데올로기 탐지 및 대비 시각 요약과 같은 후행 NLP 작업의 성능 향상에 기여하는가?
• RQ5 확장 단어 수(불안정한 단어 수)가 문서 수준의 정당 분류 작업에서 분류 성능에 미치는 영향은 어떠한가?

주요 결과

• 선형 매핑과 이웃 유사도 측정치의 조합이 의미 변화 탐지에서 가장 높은 성능을 보였으며, 개별 방법보다 뛰어났다.
• 의미 변화는 시간뿐 아니라 정치당 간에도 관찰되었으며, 예를 들어 보수당과 노동당의원들 사이에서 '민주주의'의 의미 해석이 다름을 확인했다.
• 일관성 법칙(빈도가 높은 단어는 더 안정적임)은 단어 안정성에 강력한 예측력을 보였지만, 혁신 법칙(다의어가 증가하면 불안정성 증가)은 미미한 영향을 미쳤다.
• 본 연구는 새로운 법칙을 제안한다: 더 구체적인 단어는 시각의 차이에 덜 민감하며, 이는 더 높은 의미 안정성을 의미한다.
• 최대 5개의 확장 단어(불안정한 단어)를 추가하면 정당 분류에서 F1 점수가 향상되었지만, 5개를 초과하면 문서 유사도 증가로 인해 성능이 저하되었다.
• 프레임워크는 대비 시각 요약 및 이데올로기 탐지에서 성공적으로 성능 향상을 이끌었으며, 그룹 간 다원적 논의를 식별하는 데 실용적 유용성을 입증했다.