[論文レビュー] Argument from Old Man's View: Assessing Social Bias in Argumentation

Maximilian Spliethöver, Henning Wachsmuth|arXiv (Cornell University)|Nov 24, 2020

Topic Modeling参考文献 40被引用数 9

ひとこと要約

本稿は、5つの英語ディベートポータルで訓練された単語埋め込みを用いて計算的議論における社会的バイアスを調査し、WEATを用いてバイアスを評価している。全コーパスにおいて一貫したジェンダーおよび人種的バイアスが確認され、ヨーロッパ系アメリカ人と男性のアイデンティティが優遇されている。特に debate.org が最も高いバイアスを示しており、自然言語処理研究におけるより代表的でバランスの取れた議論データセットの必要性を浮き彫りにしている。

ABSTRACT

Social bias in language - towards genders, ethnicities, ages, and other social groups - poses a problem with ethical impact for many NLP applications. Recent research has shown that machine learning models trained on respective data may not only adopt, but even amplify the bias. So far, however, little attention has been paid to bias in computational argumentation. In this paper, we study the existence of social biases in large English debate portals. In particular, we train word embedding models on portal-specific corpora and systematically evaluate their bias using WEAT, an existing metric to measure bias in word embeddings. In a word co-occurrence analysis, we then investigate causes of bias. The results suggest that all tested debate corpora contain unbalanced and biased data, mostly in favor of male people with European-American names. Our empirical insights contribute towards an understanding of bias in argumentative data sources.

研究の動機と目的

• 計算的議論（CA）研究に用いられる大規模な英語ディベートポータルにおける社会的バイアスの存在を調査すること。
• 特にジェンダーと民族的背景に関して、異なる議論コーパスにおけるバイアスの程度と性質を比較すること。
• 観察された議論的テキストにおける社会的バイアスに寄与する言語的パターンおよびユーザーの寄与を同定すること。
• バイアス検出手法において名前を社会的グループの代理として用いる信頼性を評価すること。
• 将来的なCA研究におけるより代表的でバランスの取れたデータセットの必要性を訴える、議論データソースにおけるバイアスに関する基盤的知見を提供すること。

提案手法

• スキップグラム＋ネガティブサンプリングを用いたカスタム単語埋め込みモデルを、5つのディベートポータル（4forums.com, convinceme.net, createdebate.com, debate.org, ChangeMyView）のコーパス固有のデータ上で訓練した。
• 社会的グループ（例：男性対女性の名前、ヨーロッパ系アメリカ人対アフリカ系アメリカ人の名前）を表す語の集合間のバイアスを測定するために、WEAT（ワードモーバー距離）指標を適用した。
• debate.org コーパスにおいて、ユーザーが提供した人口統計情報（例：年齢、性別）に基づいてテキストをグループ化し、ユーザー集団ごとのバイアス寄与を分析した。
• 言語的語の共起を分析することで、アイデンティティ語（例：名前）と同時に現れる語を同定し、バイアスが言語的にどのようにエンコードされているかを解明した。
• Caliskan et al. (2017) が提供する標準化された語彙リストを用い、WEATテストにおける社会的グループの定義に、社会的アイデンティティの代理としての名前のリストを含めた。
• 主に3つのコーパス（IAC, debate.org, CMV）を対象に評価を行い、バイアスの程度と代表の不均衡を比較した。

実験結果

リサーチクエスチョン

• RQ1 既存の議論資料にどのような種類の社会的バイアスが存在し、異なるディベートポータル間でバイアスの程度に差があるか？
• RQ2 特定のユーザー集団（例：高齢者、特定の名前の持ち主）の寄与は、コーパス全体の社会的バイアスにどのように影響しているか？
• RQ3 どの言語的発話または共起パターンが、議論的テキストにおける観察された社会的バイアスに最も寄与しているか？
• RQ4 名前ベースの代理指標が、WEATに基づく評価においてバイアス評価結果をどれほど歪めているか？
• RQ5 アイデンティティ語の出現における代表の不均衡は、議論コーパスにおけるバイアス検出の信頼性と妥当性にどのように影響するか？

主な発見

• 評価された3つのディベートコーパス（debate.org, CMV, IAC）すべてに顕著な社会的バイアスが存在し、男性およびヨーロッパ系アメリカ人のアイデンティティが、女性およびアフリカ系アメリカ人のアイデンティティよりも一貫して優遇されていることが判明した。
• WEAT評価において、debate.org コーパスが最も高いバイアスを示し、次いで CMV、IAC が最も低いバイアスを示しており、データ収集方法およびユーザーのデモグラフィック特性に起因するコーパス固有の差が示唆された。
• 全コーパスにおいてアイデンティティ語の代表の不均衡が観察され、女性およびアフリカ系アメリカ人の名前の出現頻度が低く、統計的ばらつきやバイアスの歪みにさらされやすくなっていることがわかった。
• 共起分析から、『palin』 や 『obama』 といった名前が、政治的またはステレオタイプ的語（例：『保守的』、『大統領』）と強く関連していることが判明し、有名人がグループレベルのバイアス関連性を歪めている可能性が示された。
• 名前を社会的グループの代理として用いることで、予測不能なバイアス結果が生じた。有名人は一般の社会的グループを代表していないため、WEAT評価において誤った関連性を生じさせるおそれがある。
• 本研究では、名前ベースの語彙が頻度が低く、文脈に極めて依存するため、バイアス検出において統計的に信頼性が低く、この文脈におけるWEAT結果の妥当性を損なうことが判明した。