[논문 리뷰] Women, politics and Twitter: Using machine learning to change the discourse

Lana Cuthbertson, Alex Kearney외 5명|arXiv (Cornell University)|2019. 11. 25.

Hate Speech and Cyberbullying Detection참고 문헌 16인용 수 13

한 줄 요약

이 논문은 여성 정치인을 대상으로 한 혐오 발언을 탐지하고, 여성 지도자에 관한 지원 메시지가 담긴 '포지티비트윗(positivitweets)'을 자동으로 전송하는 AI 기반 트위터 봇인 ParityBOT을 제시한다. 이 시스템은 공개된 혐오 발언 데이터셋으로 검증되었으며, 2019년 앨버타 주 선거 및 캐나다 연방 선거 기간에 배포되어, 여성 정치인의 온라인 존재감을 높임으로써 온라인 폭력의 영향을 줄였다. TOXICITY 임계값 0.8에서 1,468건의 혐오 발언을 분류한 후 973건의 포지티비트윗을 전송하였다.

ABSTRACT

Including diverse voices in political decision-making strengthens our democratic institutions. Within the Canadian political system, there is gender inequality across all levels of elected government. Online abuse, such as hateful tweets, leveled at women engaged in politics contributes to this inequity, particularly tweets focusing on their gender. In this paper, we present ParityBOT: a Twitter bot which counters abusive tweets aimed at women in politics by sending supportive tweets about influential female leaders and facts about women in public life. ParityBOT is the first artificial intelligence-based intervention aimed at affecting online discourse for women in politics for the better. The goal of this project is to: $1$) raise awareness of issues relating to gender inequity in politics, and $2$) positively influence public discourse in politics. The main contribution of this paper is a scalable model to classify and respond to hateful tweets with quantitative and qualitative assessments. The ParityBOT abusive classification system was validated on public online harassment datasets. We conclude with analysis of the impact of ParityBOT, drawing from data gathered during interventions in both the $2019$ Alberta provincial and $2019$ Canadian federal elections.

연구 동기 및 목표

• 트위터에서의 온라인 괴롭힘으로 악화되는 캐나다 정치 분야의 체계적 성별 불평등 문제를 해결하기 위해.
• 여성 정치인을 향한 온라인 논의를 적극적으로 재구성하는 AI 기반 개입을 설계하고 구현하기 위해.
• 분류 및 응답에 있어 확장 가능하고 투명하며 윤리적으로 지침을 받은 시스템을 개발하기 위해.
• 자동화된 긍정적 참여가 여성의 정치 참여도와 온라인 안전성에 미치는 영향을 평가하기 위해.
• AI 봇이 여성의 정치 참여 장벽을 줄이고 포함성을 증진하는 데 어떤 잠재력을 지닐 수 있는지 탐색하기 위해.

제안 방법

• 시스템은 Tweepy를 통해 트위터의 실시간 스트리밍 API를 사용해 영어로 작성된 여성 정치 후보자 이름을 포함한 트윗을 수집한다.
• 텍스트는 모델의 기대에 맞게 규칙 기반 정제를 거쳐 전처리되며, 이후 세 가지 NLP 모델인 Perspective API(TOXICITY), HateSonar, VADER 감성 분석을 통해 점수화된다.
• 모델 출력에서 특징 벡터를 생성하고, 투명성과 예측 능력 면에서 뛰어난 점수를 바탕으로 TOXICITY 점수가 주 분류기로 선택된다.
• 동적 임계값 전략이 적용되며, 처음에는 0.5로 설정하고, 이후 0.8과 0.9로 점차 상향 조정하여 응답 빈도와 트위터 API의 속도 제한, 임계값 오류를 줄이기 위한 것이다.
• 임계값을 초과하는 트윗에는 사전에 준비된 '포지티비트윗'이 전송되며, 이는 다양한 라이브러리에서 선별된 영향력 있는 여성 정치인에 관한 메시지들이다.
• 직접 언급을 피하고, 봇임을 명확히 밝혀 투명성을 유지함으로써 기만적 윤리적 위험을 최소화한다.

실험 결과

연구 질문

• RQ1 AI 기반 봇이 여성 정치인을 향한 성별 기반 온라인 폭력에 효과적으로 탐지하고 대응할 수 있는가?
• RQ2 자동화된 긍정적 참여가 여성 후보자들이 정치 논의에서 경험하고 인식하는 데 어떤 영향을 미치는가?
• RQ3 확장 가능하고 투명한 봇 시스템이 트위터에서의 정치 논의의 어조와 포용성에 어떤 영향을 미치는가?
• RQ4 혐오 발언 탐지에서의 결정 임계값 설정이 반응성과 자원 제약 간의 균형에 어떤 영향을 미치는가?
• RQ5 이러한 시스템이 여성의 정치 참여 장벽을 어느 정도 줄이는 데 기여할 수 있는가?

주요 결과

• 2019년 앨버타 주 선거 기간 동안 ParityBOT은 총 12,726건의 트윗 중 1,468건의 혐오 발언을 TOXICITY 임계값 0.8로 분류하였다.
• 앨버타 선거 기간 동안 봇은 973건의 포지티비트윗을 전송하였으며, API 제약과 콘텐츠 라이브러리 제약로 인해 제어된 응답 빈도를 보였다.
• Perspective API의 TOXICITY 점수가 혐오 발언을 분류하는 데 가장 예측 능력이 높은 특징였으며, 이는 주 분류기로 사용할 근거가 되었다.
• 참여자들은 ParityBOT의 존재가 폭력 행위가 감시되고 있다는 신호이자 지지의 목소리가 존재한다는 것을 암시하며, 시각화감과 격려감을 느꼈다.
• 여성 후보자들은 온라인 폭력이 끊임없이 존재하는 장벽임을 인정하였으며, 부정적인 분위기로 인해 많은 이들이 소셜 미디어에서 철수하고 있음을 밝혔다. 이는 이러한 개입의 필요성을 강조한다.
• 이 프로젝트는 윤리적으로 설계된 AI 기반 봇이 논의를 재편하고 여성 정치 참여의 성평등을 지원하는 데 기여할 수 있음을 입증하였다.