[논문 리뷰] Measuring Offensive Speech in Online Political Discourse

Rishab Nithyanand, Brian Schaffner외 1명|arXiv (Cornell University)|2017. 06. 06.

Hate Speech and Cyberbullying Detection참고 문헌 9인용 수 9

한 줄 요약

이 논문은 2015년 1월부터 2017년 1월까지의 1억 6,800만 개의 Reddit 댓글을 바탕으로 온라인 정치적 논의에서의 무례함을 측정하기 위해 공격적 발언 분류기를 개발하고 평가한다. 연구 결과, 2016년 미국 대선 기간 동안 정치적 서브레딧에서는 공격적 발언 비율이 크게 증가하여 댓글의 약 10%에 가까운 수준에 도달했으며, 비정치적 서브레딧에서는 유사한 추세를 보이지 않아, 정치적 논의의 무례함이 선거 캠프에 의해 유도된 것으로 나타났다.

ABSTRACT

The Internet and online forums such as Reddit have become an increasingly popular medium for citizens to engage in political conversations. However, the online disinhibition effect resulting from the ability to use pseudonymous identities may manifest in the form of offensive speech, consequently making political discussions more aggressive and polarizing than they already are. Such environments may result in harassment and self-censorship from its targets. In this paper, we present preliminary results from a large-scale temporal measurement aimed at quantifying offensiveness in online political discussions. To enable our measurements, we develop and evaluate an offensive speech classifier. We then use this classifier to quantify and compare offensiveness in the political and general contexts. We perform our study using a database of over 168M Reddit comments made by over 7M pseudonyms between January 2015 and January 2017 -- a period covering several divisive political events including the 2016 US presidential elections.

연구 동기 및 목표

• 2016년 미국 대선 기간 동안 온라인 정치적 논의에서 공격적 발언의 증가를 정량화하기 위해.
• 높은 중요도를 지닌 정치적 이벤트 기간 동안 정치적 논의가 비정치적 논의보다 더 무례해지는지 조사하기 위해.
• 대선 이후 정치 포럼에서 공격적 발언이 지속되는지 조사하기 위해.
• 다양한 온라인 커뮤니티 간 공격적 댓글 작성자의 행동 패턴을 분석하기 위해.
• 다양한 소스에서 수집한 데이터를 활용해 대규모 측정에 적합한 강력한 공격적 발언 분류기를 개발하고 검증하기 위해.

제안 방법

• CrowdFlower 혐오 발언 데이터셋을 사용해 이진 공격적 발언 분류기를 훈련시켰으며, '공격적'과 '혐오 발언' 레이블을 하나의 공격적 클래스로 통합하였다.
• 외부 공격적 어휘 목록 두 가지를 보조 기능으로 통합하였다: Hatebase(1,122개의 단어)와 Google의 What Do You Love 프로젝트(422개의 단어).
• 훈련된 분류기를 2015년 1월부터 2017년 1월까지의 1억 6,800만 개의 Reddit 댓글 샘플에 적용하였으며, 짧은 댓글, 삭제된 댓글, 실명이 아닌 닉네임을 사용한 댓글은 제외하였다.
• 시간적 분석을 통해 정치적 서브레딧과 비정치적 서브레딧 간의 공격적 댓글 비율을 시간 경과에 따라 비교하였다.
• 공격적 댓글 작성자들이 서브레딧 간에 이동하는 경로를 추적하여 공격적 저자들이 유입된 커뮤니티를 식별하였다.
• 검증용 테스트 세트를 사용해 분류기 성능을 평가하였으며, 정밀도, 재현율, F1 점수 등의 표준 지표를 통해 공격적 발언 탐지에 있어 신뢰할 수 있는 성능을 확보하였다.

실험 결과

연구 질문

• RQ1 2016년 미국 대선 캠프 기간 동안 정치적 온라인 포럼에서 공격적 발언의 빈도가 증가했는가?
• RQ2 동일 기간 동안 정치적 서브레딧에서의 공격적 발언 수준은 비정치적 서브레딧과 비교해 어떻게 다른가?
• RQ3 정치적 논의에서 공격적 댓글은 비공격적 댓글보다 더 많은 커뮤니티의 추천 수나 참여도를 얻는가?
• RQ4 공격적 댓글 작성자들은 특정 유형의 서브레딧(예: 기본 설정 또는 후보자 전용)에서 더 자주 이동하여 정치 포럼으로 유입되는가?
• RQ5 2016년 대선이 끝난 후에도 정치적 논의에서 공격적 발언 수준이 여전히 높아진 상태인가?

주요 결과

• 2016년 미국 대선 기간 동안 정치적 서브레딧의 모든 댓글 중 약 10%가 공격적이라고 분류되었으며, 이는 무례함의 급격한 증가를 나타낸다.
• 정치적 서브레딧에서 공격적 댓글은 비공격적 댓글보다 더 많은 추천 수를 확보하여 커뮤니티의 더 큰 참여를 유도한 것으로 나타났다.
• 대선 캠프가 진행될수록 정치적 서브레딧에서 공격적 댓글 비율이 점차 증가했으며, 비정치적 서브레딧에서는 유사한 증가 추세를 관찰할 수 없었다.
• 2016년 대선이 끝난 지 3개월이 지난 후에도 정치적 서브레딧에서 공격적 댓글 비율은 여전히 뚜렷하게 높아졌으며, 이는 무례함이 지속적으로 증가했음을 시사한다.
• 많은 수의 공격적 댓글 작성자들은 r/worldnews, r/askreddit, r/news와 같은 기본 설정 서브레딧에서 유래했으며, r/the_donald 및 r/sandersforpresident와 같은 후보자 전용 서브레딧에서도 유입된 것으로 나타났다.
• r/conspiracy, r/nfl, r/imgoingtohellforthis와 같은 서브레딧 역시 공격적 정치 댓글 작성자의 주요 출처였으며, 이는 무례함이 커뮤니티 간 이동을 통해 확산된다는 것을 보여준다.