[論文レビュー] ValNorm Quantifies Semantics to Reveal Consistent Valence Biases Across Languages and Over Centuries

Autumn Toney-Wails, Aylin Caliskan|arXiv (Cornell University)|Jun 6, 2020

Authorship Attribution and Profiling被引用数 4

ひとこと要約

ValNormは、7か国語および英語の200年分のテキストにわたり、単語埋め込みにおける感情の正味（快・不快）の次元を測定する、革新的な内在的評価タスクを導入した。人間による評価との間に高い相関（ρ = 0.88）を示し、差別的でない語の間で一貫した広く共有される感情的関連性が存在することが明らかになったが、社会的グループに関するバイアスは言語や時代によって異なる。

ABSTRACT

Word embeddings learn implicit biases from linguistic regularities captured by word co-occurrence statistics. By extending methods that quantify human-like biases in word embeddings, we introduceValNorm, a novel intrinsic evaluation task and method to quantify the valence dimension of affect in human-rated word sets from social psychology. We apply ValNorm on static word embeddings from seven languages (Chinese, English, German, Polish, Portuguese, Spanish, and Turkish) and from historical English text spanning 200 years. ValNorm achieves consistently high accuracy in quantifying the valence of non-discriminatory, non-social group word sets. Specifically, ValNorm achieves a Pearson correlation of r=0.88 for human judgment scores of valence for 399 words collected to establish pleasantness norms in English. In contrast, we measure gender stereotypes using the same set of word embeddings and find that social biases vary across languages. Our results indicate that valence associations of non-discriminatory, non-social group words represent widely-shared associations, in seven languages and over 200 years.

研究の動機と目的

• 人間による心理的規範に基づく、単語埋め込みにおける感情の正味次元を測定する手法を開発すること。
• 単語埋め込みにおける正味の関連性が、社会的グループバイアスとは独立して複数の言語および時間軸にわたり一貫しているかどうかを評価すること。
• 従来の語の類似度メトリクスよりも意味的質を捉える能力に優れる、ValNormを新たな内在的評価タスクとして導入すること。
• 単語埋め込みにおける、広く共有される非差別的正味規範と、文化的に特異的または社会的にバイアスを含む関連性を区別すること。
• 意味的整合性を捉える単語埋め込みの内在的感情的意味を評価する透明性があり統計的に検証されたツールを提供すること。

提案手法

• ValNormは、単語埋め込みにおける正味の測定の統計的有意性を評価するために、順列検定を適用する。
• 399語の英語語彙について、Bellezzaら（1986）のヒューリスティックな正味スコアを基準として、埋め込みに基づく正味スコアとの相関を計算する。
• 目的語と肯定的・否定的正味のアンカー語（例：'kindness' 対 'torture'）との間のベクトル類似度スコアを計算することで、正味を推定する。
• ValNormは、7か国語および歴史的英語テキスト（200年分）をカバーする多様なコーパスとアルゴリズムで学習された静的単語埋め込みに適用される。
• ピアソンの積率相関（ρ）を指標として用い、6つの従来の内在的評価タスク（例：語の類似度）と性能を比較する。
• 文法的・構文的要因（例：性別に依存する名詞の一致）からの影響を分離することで、言語的構造に強く影響されない堅牢な評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みは、複数の言語にわたり、差別的でない正味規範をどれほど正確に捉えているか？
• RQ2 英語の歴史的テキストにおいて200年間にわたり、正味の関連性はどれほど安定しているか？
• RQ3 ValNormの性能は、従来の内在的評価タスクと比較して、意味的質を測定するうえでどのように優れているか？
• RQ4 単語埋め込みにおける正味の関連性は、文化的・言語的構造に依存して変化するのか、それとも一貫しているのか？
• RQ5 正味規範は、テキストコーパスにおける社会的グループに対する態度の変化や有害な態度を検出するベンチマークとして機能できるか？

主な発見

• ValNormは、399語の英語語彙について、埋め込みに基づく正味スコアと人間による正味規範との間にピアソンの積率相関ρ = 0.88を達成し、感情的意味を高い精度で捉えていることが示された。
• ValNormは7か国語（中国語、英語、ドイツ語、ポーランド語、ポルトガル語、スペイン語、トルコ語）で高い性能を維持し、相関係数ρの範囲が[0.82, 0.88]に収まり、多言語的整合性が裏付けられた。
• 正味規範は200年分の英語の歴史的テキストにおいても安定しており、歴史的埋め込みでは相関係数がρ = 0.75から0.82の範囲にとどまり、長期的な意味的安定性が確認された。
• 正味規範とは対照的に、社会的グループバイアス（例：性別、人種）は言語によって顕著に異なることが示され、文化的・言語的依存性が明らかになった。
• ValNormは、コサイン類似度ではなく効果量に基づくより感受性の高い指標を提供するため、6つの従来の内在的評価タスクを上回る性能を示した。
• 本研究は、'kindness' や 'vomit' といった差別的でない語が、言語や時代を越えて一貫した快・不快の関連性を示すことが確認され、広く共有される人間の感情反応を反映していることを裏付けた。