[논문 리뷰] Toxic Bias: Perspective API Misreads German as More Toxic

Gianluca Nogara, Francesco Pierri외 4명|arXiv (Cornell University)|2023. 12. 19.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 구글의 퍼스펙티브 API에서 독일어 문장이 다른 언어의 동등한 내용보다 지속적으로 더 독성이 높게 분류되는 체계적 편향을 규명한다. 독일어 텍스트의 독성 점수는 영문 번역 대비 평균적으로 4배 높다. 다국어 트위터 및 위키백과 데이터셋을 사용하여 저자들은 이 편향이 주제나 데이터 소스에 관계없이 견고하게 나타남을 입증하며, 모델의 투명하지도 않고 비공개인 성격으로 인해 불공정한 콘텐츠 모니터링과 계산사회과학 분야의 왜곡된 연구가 발생할 수 있음을 우려한다.

ABSTRACT

Proprietary public APIs play a crucial and growing role as research tools among social scientists. Among such APIs, Google's machine learning-based Perspective API is extensively utilized for assessing the toxicity of social media messages, providing both an important resource for researchers and automatic content moderation. However, this paper exposes an important bias in Perspective API concerning German language text. Through an in-depth examination of several datasets, we uncover intrinsic language biases within the multilingual model of Perspective API. We find that the toxicity assessment of German content produces significantly higher toxicity levels than other languages. This finding is robust across various translations, topics, and data sources, and has significant consequences for both research and moderation strategies that rely on Perspective API. For instance, we show that, on average, four times more tweets and users would be moderated when using the German language compared to their English translation. Our findings point to broader risks associated with the widespread use of proprietary APIs within the computational social sciences.

연구 동기 및 목표

• 퍼스펙티브 API가 독일어에 대해 언어별로 특화된 편향을 보이는지, 특히 독일어에 대해 그러한 편향이 있는지 조사하기.
• 이러한 편향이 다국어 온라인 플랫폼의 연구 및 콘텐츠 모니터링에 어떤 영향을 미치는지 평가하기.
• 계산사회과학 분야에서 비공개·흑상자형 AI 모델에 의존할 경우 발생할 수 있는 위험을 부각하기.
• AI 기반 콘텐츠 모니터링 시스템의 투명성과 책임성 향상에 대한 촉구하기.
• 동일한 내용이 독일어로 작성되었을 때 영문 번역보다 유의미하게 더 높은 독성 점수를 받는다는 것을 입증하여, 공정성과 형평성에 해를 끼친다.

제안 방법

• 저자들은 다국어 트위터 대화와 무작위 위키백과 요약문을 분석하여 다양한 언어 간의 독성 점수를 비교했다.
• 동일한 내용을 독일어와 영어로 번역한 후, 퍼스펙티브 API의 독성 점수 차이를 측정했다.
• 다양한 데이터셋과 주제에서 독일어 텍스트의 독성 점수가 유의미하게 높은지 평가하기 위해 통계 분석을 적용했다.
• 이 연구는 퍼스펙티브 API의 공개된 독성 점수 시스템에 의존하였으며, 이는 여러 독성 범주에 대해 0에서 1 사이의 값을 출력한다.
• 연구 결과의 강도와 일반화 가능성을 확보하기 위해 대규모 데이터셋을 사용했다.
• 모델의 비공개 성격으로 인해 모델 아키텍처나 학습 데이터에 대한 내부 분석은 불가능했다.

Figure 1. Distribution of toxicity scores for tweets shared in German-speaking countries (Austria, Switzerland, and Germany) versus those in other EU countries. Distributions are statistically different at $\alpha=0.05$ according to a Kruskal-Wallis test. Median toxicity is 0.075 for German-speaking

실험 결과

연구 질문

• RQ1 퍼스펙티브 API는 다른 언어에 비해 독일어 텍스트에 유의미하게 더 높은 독성 점수를 부여하는가?
• RQ2 이러한 높은 점수는 다양한 주제, 데이터 소스, 번역 방법에 걸쳐 일관되게 나타나는가?
• RQ3 이러한 편향이 다국어 독성 분석을 위한 퍼스펙티브 API를 활용하는 학술 연구에 어떤 영향을 미치는가?
• RQ4 이러한 편향은 다국어 플랫폼의 콘텐츠 모니터링 관행에 어떤 영향을 미치는가?
• RQ5 API의 흑상자 성격으로 인해 연구자들이 이러한 언어별 편향을 탐지하거나 수정하는 데 얼마나 어려움을 겪는가?

주요 결과

• 독일어 텍스트는 평균적으로 영문 번역 대비 독성 점수가 약 4배 높게 나타났다.
• 이 편향은 다국어 트위터 대화와 위키백과 요약문을 포함한 여러 데이터셋에서 일관되게 관찰되었다.
• 독일어 텍스트의 독성 점수는 뾰족한 분포를 보이며, 자연적인 언어적 다양성보다는 모델의 오류나 아티팩트일 가능성이 높다.
• 주제, 콘텐츠 유형, 데이터 소스에 관계없이 이 편향은 지속되었으며, 이는 다국어 모델 내부에 체계적인 문제가 있음을 시사한다.
• 연구 결과는 독일어 사용자가 자동화된 모니터링 시스템에 의해 비례 이상으로 경고되거나 검열될 위험이 높다는 것을 암시한다.
• 이 연구는 투명성이나 검증 없이 비공개·투명하지 않은 AI 도구에 의존할 경우 연구 및 플랫폼 거버넌스에서 발생할 수 있는 위험을 강조한다.

Figure 2. Top 10 most frequent Perspective API scores rounded at 8 decimal digits for tweets shared in German-speaking countries (Austria, Switzerland and Germany) and those in other EU countries, from Dataset 1.