[논문 리뷰] Identifying Different Layers of Online Misogyny

Wienke Strathern, Jürgen Pfeffer|arXiv (Cornell University)|2022. 12. 01.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 연구는 앰버 허드에 관한 5,000개의 고리트윗에 대해 적용된 11단계 분류 체계를 제안하여 명시적이고 암묵적인 온라인 미소니즘을 식별한다. 그 결과 구글의 퍼스펙티브 API는 암묵적인 미소니즘을 탐지하지 못함을 확인하여 성별 기반 혐오 발언에 대한 자동화된 독성 탐지 시스템에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Social media has become an everyday means of interaction and information sharing on the Internet. However, posts on social networks are often aggressive and toxic, especially when the topic is controversial or politically charged. Radicalization, extreme speech, and in particular online misogyny against women in the public eye have become alarmingly negative features of online discussions. The present study proposes a methodological approach to contribute to ongoing discussions about the multiple ways in which women, their experiences, and their choices are attacked in polarized social media responses. Based on a review of theories on and detection methods for misogyny, we present a classification scheme that incorporates eleven different explicit as well as implicit layers of online misogyny. We also apply our classes to a case study related to online aggression against Amber Heard in the context of her allegations of domestic violence against Johnny Depp. We finally evaluate the reliability of Google's Perspective API -- a standard for detecting toxic language -- for determining gender discrimination as toxicity. We show that a large part of online misogyny, especially when verbalized without expletive terms but instead more implicitly is not captured automatically.

연구 동기 및 목표

• 명시적이고 암묵적인 형태의 온라인 미소니즘을 체계적으로 식별하기 위한 종합적인 분류 체계를 개발하는 것.
• 여성과 관련된 고조도 사례에서 미소니즘 콘텐츠가 어떻게 표현되는지, 특히 극심한 분열이 일어나는 온라인 논의에서 어떻게 나타나는지 분석하는 것.
• 특히 구글의 퍼스펙티브 API를 포함한 자동화된 독성 탐지 도구의 미소니즘 콘텐츠 식별 능력을 평가하는 것.
• 인간 검토자가 혐오 발언을 분류하는 과정에서 발생하는 윤리적 과제를 해결하기 위해 외상에 대한 인지 기반 지침을 도입하는 것.
• 향후 자동화된 혐오 발언 탐지 및 콘텐츠 모더레이션 연구를 지원하기 위해 공개된 데이터셋과 코딩 매뉴얼 기여하는 것.

제안 방법

• 이론 기반이며 경험적 데이터에 기반한 11개의 서로 다른 온라인 미소니즘 단계를 포함하는 분류 체계를 개발하였으며, 명시적 및 암묵적 형태를 모두 포함한다.
• 2019~2021년 기간 동안 @realamberheard를 포함한 24만 개의 트윗을 수집하고, 그 중에서 리트윗 수가 가장 높은 5,000개를 수작업 분류를 위해 선별하였다.
• 신뢰도를 확보하기 위해 50개의 이전 분류 결과를 포함한 상세한 코딩 매뉴얼과 테스트 세트를 활용해 학부생 분류자에게 훈련 및 감독을 실시하였다.
• 5,000개의 트윗에 대해 퍼스펙티브 API를 적용하여 독성 수준을 평가하고, 인간 분류 결과와 비교하였다.
• 분류 과정에서 2차적 외상 스트레스를 방지하기 위해 외상에 대한 인지 기반 지침을 통합하였다.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 분류된 데이터셋과 코딩 매뉴얼을 공개하였다.

실험 결과

연구 질문

• RQ1 온라인 미소니즘은 어떻게 명시적이고 암묵적인 형태로 체계적으로 계층화될 수 있는가?
• RQ2 구글의 퍼스펙티브 API는 소셜 미디어 논의에서, 특히 암묵적인 형태의 미소니즘 콘텐츠를 어느 정도 탐지하는가?
• RQ3 미소니즘 콘텐츠를 분류하는 인간 분류 과정에서 발생하는 윤리적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 앰버 허드의 가정폭력 고소와 관련된 고조도 온라인 논의에서 암묵적인 미소니즘은 얼마나 퍼져 있는가?
• RQ5 현재 자동화된 독성 탐지 시스템은 성별 특화 혐오 발언을 식별하는 데에서 어떤 한계를 지니는가?

주요 결과

• 분석한 5,000개 트윗 중 약 2/3가 미소니즘 콘텐츠를 포함하고 있었으며, 그 중 1/3은 명시적이고 1/3은 암묵적인 미소니즘으로 분류되었다.
• 퍼스펙티브 API는 명시적 미소니즘은 제한적으로 탐지했지만, 암묵적인 미소니즘의 상당 부분은 탐지하지 못했다.
• 온라인 논의에서 많은 비율의 미소니즘 언어는 간접적이거나 맥락 의존적인 언어로 표현되며, 현재의 모델들은 이를 신뢰성 있게 포착하지 못하고 있다.
• 연구는 자동화된 시스템이 특히 명시적 욕설이나 막어진 어휘를 피하는 세밀한 성별 기반 혐오 발언을 탐지하는 데에는 부적합하다는 점을 확인한다.
• 연구팀은 기존의 독성 탐지 모델이 중요한 형태의 미소니즘 어조를 놓치고 있으며, 이로 인해 콘텐츠 모더레이션에 부적절한 결과가 초래될 수 있다고 강조한다.
• 이 연구는 암묵적인 미소니즘이 흔하며, 최신 AI 도구에 의해 체계적으로 간과되고 있음을 증명하며, 개선된 어휘집과 맥락 민감도가 있는 모델 개발의 필요성을 제기한다.