[논문 리뷰] Countering Online Hate Speech: An NLP Perspective

Mudit Chaudhary, Chandni Saxena외 1명|arXiv (Cornell University)|2021. 09. 07.

Hate Speech and Cyberbullying Detection참고 문헌 67인용 수 10

한 줄 요약

이 논문은 온라인 혐오 발언을 방지하기 위한 통합적인 NLP 프레임워크를 제시하며, 방법을 사전 대응(예방)과 사후 대응(감지/중재)으로 분류한다. 윤리적, 법적, 기술적 과제를 밝히고, 향후 연구를 위한 체크리스트를 제공하여 더 신뢰성 있고 프라이버시를 존중하는 시스템을 구축하도록 돕는다.

ABSTRACT

Online hate speech has caught everyone's attention from the news related to the COVID-19 pandemic, US elections, and worldwide protests. Online toxicity - an umbrella term for online hateful behavior, manifests itself in forms such as online hate speech. Hate speech is a deliberate attack directed towards an individual or a group motivated by the targeted entity's identity or opinions. The rising mass communication through social media further exacerbates the harmful consequences of online hate speech. While there has been significant research on hate-speech identification using Natural Language Processing (NLP), the work on utilizing NLP for prevention and intervention of online hate speech lacks relatively. This paper presents a holistic conceptual framework on hate-speech NLP countering methods along with a thorough survey on the current progress of NLP for countering online hate speech. It classifies the countering techniques based on their time of action, and identifies potential future research areas on this topic.

연구 동기 및 목표

• 코로나19 패an드림이나 선거와 같은 글로벌 위기 기간 동안 증가하는 온라인 혐오 발언 문제를 해결하기 위해.
• 감지 외에 사전 예방 및 중재에 대한 NLP 연구 부족을 심각한 연구 격차로 규명하기 위해.
• 행동 시점(사전 대응 대비 사후 대응)과 윤리적 영향을 기준으로 혐오 발언 대응 조치를 분류하는 개념적 프레임워크를 개발하기 위해.
• 자동화된 모니터링에서의 프라이버시 침해, 편향, 표현의 자유 간의 상충관계와 같은 윤리적 우려를 부각하기 위해.
• 윤리적, 법적, 기술적 고려사항을 포함한 체크리스트를 제공하여 향후 연구가 책임감 있는 NLP 시스템을 설계하는 데 안내하기 위해.

제안 방법

• 혐오 발언 대응 조치를 사전 대응(게시 이전에 혐오 발언을 방지)과 사후 대응(게시 후 감지 및 중재)으로 분류한다.
• 내용 창작자, 플랫폼 시스템, 시청자로 구성된 세 역할 모델(작성자, 모더레이터, 소비자)을 제안하여 간섭 조치의 맥락을 명확히 한다.
• 신원 기반 타겟팅, 온라인 匿명성 등 혐오 발언의 원인을 특정 NLP 기법과 연결하는 개념적 프레임워크를 도입한다.
• 프라이버시를 보존하는 기법(예: 연합 학습)을 강조하여 사전 대응 시스템에서 감시 위험을 줄인다.
• 기존 벤치마크 데이터셋(예: Fortuna 등, 2020; Qian 등, 2019)을 활용하여 감지 및 중재 모델의 기반을 마련한다.
• Kiritchenko 등(2020)의 영향을 받아 공정성, 투명성, 책임성 평가를 위한 윤리 체크리스트를 통합한다.

실험 결과

연구 질문

• RQ1 NLP는 게시 이전에 온라인 혐오 발언을 어떻게 사전에 방지할 수 있으며, 이러한 시스템의 윤리적 함의는 무엇인가?
• RQ2 사전 대응 및 사후 대응 조치 간의 효과성, 편향, 프라이버시 영향에서의 주요 차이는 무엇인가?
• RQ3 자동화된 혐오 발언 감시에서 표현의 자유를 보장하면서 유해한 온라인 콘텐츠를 억제할 수 있는 NLP 시스템은 어떻게 균형을 이룰 수 있는가?
• RQ4 자동화된 혐오 발언 감지 및 중재에서 감시와 차별을 방지하기 위해 필요한 기술적 및 윤리적 보안 조치는 무엇인가?
• RQ5 향후 NLP 연구는 혐오 발언 대응 조치 설계의 초도 단계부터 윤리적 고려사항을 어떻게 통합할 수 있는가?

주요 결과

• 게시 후 감지와 같은 사후 대응 방법은 표현의 자유에 대해 덜 논란이 되지만, 가시성으로 인해 피해가 증가하는 지연 문제가 존재한다.
• 게시 전 혐오 발언을 예측하는 사전 대응 방법은 프라이버시 침해 및 사용자 인구 통계 기반 알고리즘 편향 등 더 높은 윤리적 위험을 수반한다.
• 혐오 발언에 대한 통일된 정의가 부족하여 법적 집행과 모델 훈련 모두에 어려움을 초래하며, 맥락에 따라 달라지고 주관적인 결과를 낳는다.
• 콘텐츠 모더레이터는 심각한 정서적 고통, 예를 들어 PTSD를 겪을 수 있으며, 이는 자동화된 NLP 솔루션의 필요성을 강조한다.
• 페이스북은 2020년 1분기 동안 1,000만 건의 혐오 발언 게시물을 제거했으며, 이는 문제의 규모와 확장 가능한 NLP 기반 모니터링의 필요성을 보여준다.
• 윤리 체크리스트를 기반으로 한 사전 및 사후 방법의 하이브리드 접근 방식은 피해를 줄이고, 검열이나 감시와 같은 부작용을 최소화할 수 있다.