[논문 리뷰] ValNorm Quantifies Semantics to Reveal Consistent Valence Biases Across Languages and Over Centuries

Autumn Toney-Wails, Aylin Caliskan|arXiv (Cornell University)|2020. 06. 06.

Authorship Attribution and Profiling인용 수 4

한 줄 요약

ValNorm는 7개 언어와 영어로 작성된 200년 분량의 텍스트에서 단어 임베딩의 정서적 성향(쾌적함/불쾌함) 차원을 정량화하는 새로운 내재 평가 작업을 도입한다. 인간 평가 기반 정서적 성향 기준과 높은 상관관계(ρ = 0.88)를 보이며, 비차별적인 단어에서 일관되고 널리 공유되는 정서적 연관성이 드러나지만, 사회적 집단에 대한 편향은 언어와 시간에 따라 다양하다.

ABSTRACT

Word embeddings learn implicit biases from linguistic regularities captured by word co-occurrence statistics. By extending methods that quantify human-like biases in word embeddings, we introduceValNorm, a novel intrinsic evaluation task and method to quantify the valence dimension of affect in human-rated word sets from social psychology. We apply ValNorm on static word embeddings from seven languages (Chinese, English, German, Polish, Portuguese, Spanish, and Turkish) and from historical English text spanning 200 years. ValNorm achieves consistently high accuracy in quantifying the valence of non-discriminatory, non-social group word sets. Specifically, ValNorm achieves a Pearson correlation of r=0.88 for human judgment scores of valence for 399 words collected to establish pleasantness norms in English. In contrast, we measure gender stereotypes using the same set of word embeddings and find that social biases vary across languages. Our results indicate that valence associations of non-discriminatory, non-social group words represent widely-shared associations, in seven languages and over 200 years.

연구 동기 및 목표

• 인간 평가 기반 심리학적 기준을 활용해 단어 임베딩의 정서적 성향 차원을 정량화하는 방법을 개발하는 것.
• 단어 임베딩의 정서적 연관성이 사회적 집단 편향과 무관하게 여러 언어와 시간에 걸쳐 일관되는지 평가하는 것.
• 기존의 단어 유사도 측정 지표보다 더 우수한 성능을 보이는, 새로운 내재 평가 작업인 ValNorm를 제안하는 것.
• 단어 임베딩 내에서 널리 공유되는 비차별적 정서 기준과 문화적 특수성 또는 사회적 편향에 기반한 연관성을 구분하는 것.
• 단어 임베딩의 내재된 정서적 의미를 반영하는 정도를 평가하기 위한 투명하고 통계적으로 검증된 도구를 제공하는 것.

제안 방법

• ValNorm는 단어 임베딩에서 정서적 성향 측정의 통계적 유의성을 평가하기 위해 순열 검정을 적용한다.
• 399개의 영어 단어에 대해 Bellezza 등(1986)이 제시한 인간 평가 기반 정서 점수를 기준값으로 삼아, 임베딩 기반 정서 점수와의 상관관계를 계산한다.
• 목표 단어와 긍정/부정 정서의 기준어(예: 'kindness' 대비 'torture') 간의 벡터 유사도 점수를 계산하여 정서 수준을 추정한다.
• ValNorm는 7개 언어와 역사적 영어 텍스트(200년 분량)에서 학습된 정적 단어 임베딩에 적용되며, 다양한 코퍼스와 알고리즘을 활용한다.
• 피어슨 상관계수(ρ)를 평가 지표로 사용하여, 기존의 6개의 내재 평가 작업(예: 단어 유사도)과 성능을 비교한다.
• 성격적·문법적 영향(예: 성별에 따른 명사 동조 등)을 분리하여 언어적 구조에 영향을 받지 않도록 하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 단어 임베딩이 여러 언어에서 널리 공유되는 비차별적 정서 기준을 얼마나 잘 반영하는가?
• RQ2 영어 역사적 텍스트에서 200년에 걸쳐 정서적 연관성이 얼마나 안정적인가?
• RQ3 ValNorm의 성능이 전통적인 내재 평가 작업보다 정서적 품질 측정에 얼마나 뛰어나게 작용하는가?
• RQ4 단어 임베딩의 정서적 연관성이 문화나 언어에 따라 일관되게 유지되는가, 아니면 언어적 구조에 따라 달라지는가?
• RQ5 정서 기준이 텍스트 코퍼스에서 사회 집단에 대한 태도가 변화하거나 해로운 성향을 띠는지를 탐지하는 기준으로 사용될 수 있는가?

주요 결과

• ValNorm는 399개의 영어 단어에 대해 임베딩 기반 정서 점수와 인간 평가 기반 정서 기준 간 피어슨 상관계수 ρ = 0.88을 기록하여, 정서적 의미를 높은 정확도로 반영하고 있음을 확인한다.
• ValNorm는 중국어, 영어, 독일어, 폴란드어, 포르투갈어, 스페인어, 터키어 등 7개 언어에서 높은 성능을 유지하며, 상관계수 범위가 [0.82, 0.88]로 나타나 다국어 간 일관성이 높음을 입증한다.
• 정서 기준은 영어 역사적 텍스트에서 200년에 걸쳐 안정되어 있으며, 역사적 임베딩에서 상관계수 범위가 ρ = 0.75에서 0.82 사이로 나타나 장기적인 의미적 안정성을 보여준다.
• 반면, 정서 기준과는 달리 사회 집단 편향(예: 성별, 인종)은 언어에 따라 유의미하게 다름을 보이며, 문화적·언어적 의존성을 시사한다.
• ValNorm는 기존의 6개의 내재 평가 작업보다 정서적 품질 측정에서 뛰어난 성능을 보이며, 코사인 유사도가 아닌 효과 크기를 기반으로 한 더 민감한 평가 지표를 제공한다.
• 비차별적인 단어들인 'kindness'와 'vomit'가 여러 언어와 시간에 걸쳐 일관된 쾌적함/불쾌함 연관성을 유지함을 확인하여, 널리 공유되는 인간의 정서 반응을 반영하고 있음을 확인한다.