[論文レビュー] Toxic Bias: Perspective API Misreads German as More Toxic

Gianluca Nogara, Francesco Pierri+4 more|arXiv (Cornell University)|Dec 19, 2023

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

この論文は、GoogleのPerspective APIに、ドイツ語のテキストが他の言語の同等のコンテンツよりも一貫して毒性が強いと誤分類されるシステム的バイアスを特定している。ドイツ語のテキストの毒性スコアは、英語訳と比較して平均で4倍高い。多言語のTwitterおよびWikipediaデータセットを用いて、著者たちはこのバイアスがトピックやデータソースを問わず安定して現れることを示し、モデルの不透明で特許を取得した性質から、不平等なコンテンツモデレーションや計算社会科学研究における歪みのある研究が生じる懸念を呈した。

ABSTRACT

Proprietary public APIs play a crucial and growing role as research tools among social scientists. Among such APIs, Google's machine learning-based Perspective API is extensively utilized for assessing the toxicity of social media messages, providing both an important resource for researchers and automatic content moderation. However, this paper exposes an important bias in Perspective API concerning German language text. Through an in-depth examination of several datasets, we uncover intrinsic language biases within the multilingual model of Perspective API. We find that the toxicity assessment of German content produces significantly higher toxicity levels than other languages. This finding is robust across various translations, topics, and data sources, and has significant consequences for both research and moderation strategies that rely on Perspective API. For instance, we show that, on average, four times more tweets and users would be moderated when using the German language compared to their English translation. Our findings point to broader risks associated with the widespread use of proprietary APIs within the computational social sciences.

研究の動機と目的

• Perspective APIがドイツ語に対して言語特有のバイアスを示すかどうかを調査すること。
• このようなバイアスが多言語オンラインプラットフォームにおける研究およびコンテンツモデレーションに与える影響を評価すること。
• 計算社会科学における特許を取得したブラックボックスAIモデルに依存することのリスクを強調すること。
• AI駆動のコンテンツモデレーションシステムにおける透明性と責任の強化を呼びかけること。
• 同じ内容がドイツ語で記述された場合、英語訳と比較して毒性スコアが著しく高くなることを実証し、公平性と平等性を損なうこと。

提案手法

• 著者たちは、多言語のTwitter会話とランダムなWikipedia要約を分析し、言語間での毒性スコアの差を比較した。
• 同一のコンテンツをドイツ語と英語に翻訳し、Perspective APIの毒性スコアの差を測定した。
• 統計的分析を用いて、さまざまなデータセットやトピックにおけるドイツ語テキストの毒性スコアが顕著に高いかどうかを評価した。
• 本研究は、Perspective APIの公に利用可能な毒性スコアリングシステムに依存しており、複数の毒性カテゴリーについて0から1の値を出力する。
• 研究者は、多様な言語的・文脈的状況において、結果の堅牢性と一般化可能性を確保するため、大規模なデータセットを用いた。
• モデルの特許を取得した性質のため、モデルのアーキテクチャーやトレーニングデータの内部分析は不可能であった。

Figure 1. Distribution of toxicity scores for tweets shared in German-speaking countries (Austria, Switzerland, and Germany) versus those in other EU countries. Distributions are statistically different at $\alpha=0.05$ according to a Kruskal-Wallis test. Median toxicity is 0.075 for German-speaking

実験結果

リサーチクエスチョン

• RQ1 Perspective APIは、他の言語と比較してドイツ語のテキストに対して顕著に高い毒性スコアを割り当てているか？
• RQ2 これらの高いスコアは、異なるトピック、データソース、翻訳手法において一貫しているか？
• RQ3 このバイアスが、多言語の毒性分析にPerspective APIを用いる学術的調査に与える影響は何か？
• RQ4 このバイアスは、多言語プラットフォームにおけるコンテンツモデレーション実務にどのように影響を及ぼすか？
• RQ5 APIのブラックボックス性が、このような言語特有のバイアスを検出または是正するのを研究者に妨げる程度はどの程度か？

主な発見

• ドイツ語のコンテンツは、その英語訳と比較して、平均して4倍の高い毒性スコアを示した。
• このバイアスは、多言語のTwitter会話とWikipedia要約を含む複数のデータセットで一貫して観察された。
• ドイツ語テキストの毒性スコアはスパイク状の分布を示しており、自然な言語的変異ではなく、モデルのアーティファクトまたはエラーである可能性を示唆している。
• トピック、コンテンツタイプ、データソースを問わずバイアスは持続しており、多言語モデル内にシステム的な問題があることを示している。
• 研究結果は、ドイツ語話者が自動モデレーションシステムによって不適切にフラグを立てられたり、検閲されたりするリスクが著しく高い可能性を示唆している。
• 本研究は、透明性や検証がなければ、研究やプラットフォームガバナンスにおいて特許を取得した不透明なAIツールに依存することのリスクを強調している。

Figure 2. Top 10 most frequent Perspective API scores rounded at 8 decimal digits for tweets shared in German-speaking countries (Austria, Switzerland and Germany) and those in other EU countries, from Dataset 1.