[논문 리뷰] Discovering and Categorising Language Biases in Reddit

Xavier Ferrer, Tom van Nuenen외 2명|arXiv (Cornell University)|2020. 08. 06.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 사전에 정의된 편향어를 사용하지 않고, 단어 임bedding을 활용한 데이터 기반 방법을 제안하여 레딧 커뮤니티 내에서 성별, 종교, 민족과 같은 언어적 편향을 탐지하고 분류한다. 편향된 단어들을 군집화하고 의미 분석을 적용함으로써 커뮤니티 특화의 편향을 식별하며, /r/TheRedPill과 /r/dating_advice에서 성별 편향, /r/atheism에서 종교 편향, /r/The_Donald에서 민족 편향을 성공적으로 탐지하였다.

ABSTRACT

We present a data-driven approach using word embeddings to discover and categorise language biases on the discussion platform Reddit. As spaces for isolated user communities, platforms such as Reddit are increasingly connected to issues of racism, sexism and other forms of discrimination. Hence, there is a need to monitor the language of these groups. One of the most promising AI approaches to trace linguistic biases in large textual datasets involves word embeddings, which transform text into high-dimensional dense vectors and capture semantic relations between words. Yet, previous studies require predefined sets of potential biases to study, e.g., whether gender is more or less associated with particular types of jobs. This makes these approaches unfit to deal with smaller and community-centric datasets such as those on Reddit, which contain smaller vocabularies and slang, as well as biases that may be particular to that community. This paper proposes a data-driven approach to automatically discover language biases encoded in the vocabulary of online discourse communities on Reddit. In our approach, protected attributes are connected to evaluative words found in the data, which are then categorised through a semantic analysis system. We verify the effectiveness of our method by comparing the biases we discover in the Google News dataset with those found in previous literature. We then successfully discover gender bias, religion bias, and ethnic bias in different Reddit communities. We conclude by discussing potential application scenarios and limitations of this data-driven bias discovery method.

연구 동기 및 목표

• 레딧과 같은 소셜미디어 플랫폼에서 기존의 편향 탐지 방법이 사전 정의된 용어에 의존하는 점을 감안해, 커뮤니티 특화 언어적 편향을 탐지하는 데에 미치지 못하는 격차를 메우기 위해.
• 특정 서브레딧의 어휘와 논의 패턴만을 기반으로 일반화된 데이터 기반 접근법을 개발하여 편향을 드러내기 위해.
• 성별, 종교, 민족과 같은 보호 대상 속성에 대한 편향을 사전에 평가어에 대한 가정 없이 탐지할 수 있도록 하기 위해.
• 메타데이터 기반으로 대규모 코퍼스(Google News)에서 방법을 검증한 후, 더 작은 커뮤니티 중심의 레딧 데이터셋에 적용하기 위해.
• 온라인 디스course 커뮤니티에서 언어적 편향을 식별하고 분류하기 위한 확장 가능하고 모듈화된 프레임워크를 제공하기 위해.

제안 방법

• 서브레딧 전용 텍스트 코퍼스에서 단어 임베딩을 훈련시어 커뮤니티 언어 내 의미 관계와 편향 패턴을 포착하기 위해.
• 단어 임베딩 간 코사인 유사도를 사용하여 보호 대상 속성(예: 성별, 종교, 민족)에 대해 가장 편향된 단어들을 식별하기 위해.
• 임베딩 유사도 기반으로 의미적으로 일관된 군집을 형성하기 위해 k-means 군집화를 적용하기 위해.
• 의미 분석 시스템을 활용하여 군집에 의미 있는 개념(예: '범죄성', '매력 없음', '순수성')을 레이블링하기 위해.
• 감성 극성 점수를 활용하여 군집 내 편향된 단어의 성격(긍정/부정)을 추가로 특성화하기 위해.
• 레딧 서브레딧에 적용하기 전에 메타데이터 기반으로 Google News 데이터셋에서 방법을 검증하여 신뢰성과 일관성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 사전 정의된 평가어에 의존하지 않고 온라인 디스course 커뮤니티에서 보호 대상 속성에 대한 언어적 편향을 어떻게 탐지할 수 있는가?
• RQ2 단어 임베딩과 군집화는 서로 다른 어휘와 슬랭을 가진 서브레딧에서 커뮤니티 특화 편향을 어느 정도 드러낼 수 있는가?
• RQ3 이 방법은 실제 레딧 커뮤니티에서 성별, 종교, 민족 편향을 성공적으로 탐지하고 분류할 수 있는가?
• RQ4 이념적 성향이 다른 서브레딧 간에 편향된 단어의 의미 군집은 어떻게 다를 수 있는가?
• RQ5 감성 극성은 커뮤니티 디스course 내 편향된 언어의 특성화에 어떤 역할을 하는가?

주요 결과

• 이 방법은 /r/TheRedPill과 /r/dating_advice에서 성별 편향을 성공적으로 탐지하였으며, '독성적 남성성'과 '감정적 이질성' 같은 특성 중심의 군집을 발견하였다.
• /r/atheism에서는 종교적 그룹과 관련된 '원죄', '이중성', '도덕적 타락'과 같은 단어들이 종교 편향과 연결되어 탐지되었다.
• /r/The_Donald에서는 비백인 정체성과 관련된 '범죄성', '법과 秩서', '계획성' 등의 용어와 부정적 연관성이 드러나 민족 편향이 확인되었다.
• 이 방법은 서브레딧 내 편향된 어휘가 본질적으로 부정적이지 않지만, 맥락적이고 커뮤니티 특화된 사용을 통해 편향이 발생한다는 점을 드러내었다.
• 백인 이름을 중심으로 한 군집에서는 '매력 없음'이나 '비만'과 같은 낙인 표현의 사용이 최소한이었으며, 이는 다양한 커뮤니티 간에 다른 편향 패턴이 존재함을 시사한다.
• Google News 데이터셋에서 알려진 편향 패턴을 재현함으로써 방법의 강력한 타당성을 입증하였으며, 실제 적용 이전에 신뢰성이 확인되었다.