[論文レビュー] Frequency-based Distortions in Contextualized Word Embeddings

Kaitlyn Zhou, Kawin Ethayarajh+1 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 18被引用数 8

ひとこと要約

この論文は、事前学習データにおける語の頻度が、BERTの文脈依存語表現における意味的類似度測定にどのように歪みをもたらすかを調査している。アイデンティティプローブと最小包囲超球分析を用いて、頻度の高い語はより多様で識別しにくい表現を持つことが判明し、類似度が系統的に過大または過小評価される原因となっている。特に、アフリカと南米の国々が埋め込み空間で不利な立場に置かれており、多言語BERTですらその歪みが解消されない。

ABSTRACT

How does word frequency in pre-training data affect the behavior of similarity metrics in contextualized BERT embeddings? Are there systematic ways in which some word relationships are exaggerated or understated? In this work, we explore the geometric characteristics of contextualized word embeddings with two novel tools: (1) an identity probe that predicts the identity of a word using its embedding; (2) the minimal bounding sphere for a word's contextualized representations. Our results reveal that words of high and low frequency differ significantly with respect to their representational geometry. Such differences introduce distortions: when compared to human judgments, point estimates of embedding similarity (e.g., cosine similarity) can over- or under-estimate the semantic similarity of two words, depending on the frequency of those words in the training data. This has downstream societal implications: BERT-Base has more trouble differentiating between South American and African countries than North American and European ones. We find that these distortions persist when using BERT-Multilingual, suggesting that they cannot be easily fixed with additional data, which in turn introduces new distortions.

研究の動機と目的

• 事前学習データにおける語の頻度が文脈依存語表現の幾何構造に与える影響を調査すること。
• これらの幾何的差が、意味的類似度推定に系統的な歪みをもたらすかどうかを検証すること。
• BERT-Multilingualのような追加の学習データが、これらの歪みを軽減できるかどうかを評価すること。
• 特に代表が不足している地域に関連する頻度に基づく歪みの社会的影響を強調すること。
• 語の頻度と歪みプロファイルを含む、モデルドキュメンテーションにおける透明性の向上を提唱すること。

提案手法

• 語の文脈依存表現に基づいてその識別性を測定するため、少数のサンプルを用いたロジスティック回帰分類器であるアイデンティティプローブを導入した。
• 語の兄弟語表現の周囲に最小包囲超球を定義し、表現の多様性を定量化した。
• Wikipediaの文からBERT-baseおよびBERT-Multilingualを用いて文脈依存埋め込みを抽出し、長さとトークン化の一貫性を満たす文をフィルタリングした。
• ウィキメディアおよびBookCorpusからの語の頻度と、埋め込みの幾何構造および類似度推定誤差を相関させた。
• スタンフォード文脈的語類似度データセットを用いて歪みを評価し、コサイン類似度と人間の判断を比較した。
• 文脈の一貫性と頻度が埋め込みの豊かさに与える影響を検証するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 事前学習データにおける語の頻度は、文脈依存語表現の幾何的性質にどのように影響するか？
• RQ2 頻度に基づく幾何的差が、人間の判断と比較して意味的類似度推定にどの程度歪みをもたらすか？
• RQ3 BERT-Multilingualのような多言語的事前学習データは、これらの頻度に基づく歪みを軽減または解消するか？
• RQ4 異なる大陸に属する国名が埋め込み空間でどのように表現されているかに顕著な格差が存在するか？
• RQ5 観察された歪みは、語の頻度に起因する文脈情報のエンコードの違いに起因していると特定できるか？

主な発見

• BERTにおける頻度の高い語は、より大きな最小包囲超球を示しており、表現の多様性が大きい一方、頻度の低い語は識別性が高く、凝集している。
• アイデンティティプローブの結果から、語の頻度が高くなるほど識別性が低下し、頻度の高い語同士が互いに区別しにくくなっていることが示された。
• 語表現間のコサイン類似度は、人間の判断と相関があるが、ピアソンの積率相関係数r = 0.42までに留まり、推定誤差は語の頻度と系統的に関連している。
• 北米およびヨーロッパの国名は、より大きな包囲超球で表現されており、南米およびアフリカの国名よりも明確に区別されている。これはGDPや地域の代表比率と相関している。
• BERT-Multilingualはこれらの歪みを軽減しない。同じ頻度に基づくバイアスが継続しており、追加のデータだけでは問題が解決されないことが示唆された。
• 本研究は、すべてのデータセットに頻度と表現バイアスに起因する歪みが存在することを結論づけ、こうしたバイアスを明らかにするためのモデルドキュメンテーションにおける透明性の向上を要請した。