[논문 리뷰] A Review of Challenges in Machine Learning based Automated Hate Speech Detection

Abhishek Velankar, Hrushikesh Patil외 1명|arXiv (Cornell University)|2022. 09. 12.

Hate Speech and Cyberbullying Detection인용 수 12

한 줄 요약

이 논문은 기계학습 기반 혐오 발언 탐지에서 발생하는 과제들을 체계적으로 분류하고 이해하기 위한 종합적인 계층적 프레임워크를 제시한다. 데이터 수준, 모델 수준, 인간 수준의 과제로 분류하며, 맥락 의존성, 편향된 데이터, 풍자, 애너테이션 불일치 등의 핵심 문제를 규명하여 연구자들이 더 견고하고 맥락 인식 능력을 갖춘 탐지 시스템을 구축할 수 있도록 체계적인 기반을 제공한다.

ABSTRACT

The spread of hate speech on social media space is currently a serious issue. The undemanding access to the enormous amount of information being generated on these platforms has led people to post and react with toxic content that originates violence. Though efforts have been made toward detecting and restraining such content online, it is still challenging to identify it accurately. Deep learning based solutions have been at the forefront of identifying hateful content. However, the factors such as the context-dependent nature of hate speech, the intention of the user, undesired biases, etc. make this process overcritical. In this work, we deeply explore a wide range of challenges in automatic hate speech detection by presenting a hierarchical organization of these problems. We focus on challenges faced by machine learning or deep learning based solutions to hate speech identification. At the top level, we distinguish between data level, model level, and human level challenges. We further provide an exhaustive analysis of each level of the hierarchy with examples. This survey will help researchers to design their solutions more efficiently in the domain of hate speech detection.

연구 동기 및 목표

• 기계학습을 활용한 자동 혐오 발언 탐지의 복잡한 과제들을 체계적으로 분류하고 분석하는 것.
• 모델 일반화를 저해하는 불균형 데이터셋, 코드 스위칭, 인용된 혐오 발언 등의 데이터 수준 문제를 특정하고 설명하는 것.
• 은폐된 혐오 발언, 문란한 비속어를 사용한 비혐오 발언, 겹치는 레이블 등 학습 알고리즘을 혼동시키는 모델 수준의 과제를 검토하는 것.
• 애너테이션 불일치 및 사용자 의도 해석의 어려움(특히 풍자나 맥락 의존적인 경우)과 같은 인간 수준의 과제를 조사하는 것.
• 연구자들이 더 정확하고 공정한 혐오 발언 탐지 시스템 개발을 이끌 수 있도록 이러한 과제들을 체계적이고 계층적인 방식으로 이해할 수 있도록 하는 것.

제안 방법

• 저자들은 기존 문헌과 사례 연구의 경험적 분 析를 바탕으로 유도된 하위 범주를 포함한 데이터 수준, 모델 수준, 인간 수준의 세 단계 계층적 분류 체계를 제안한다.
• 실제 소셜 미디어 사례(풍자, 코드 스위칭, 맥락 의존적 혐오 발언 등)를 제시하여 각 과제의 실질적 영향을 설명한다.
• 편향, 애너테이션 신뢰성, 맥락 해석과 관련된 이전 조사 결과의 통찰을 통합하여 과제의 분류 체계를 체계화한다.
• 데이터셋의 애너테이션 예시를 활용하여 '은폐된 혐오 발언'(예: 긍정적으로 사용된 'fcuked')과 '겹치는 레이블'(한 댓글이 여러 클래스의 특성을 동시에 갖는 경우)과 같은 하위 범주를 설명한다.
• 사례 연구를 통해 맥락, 풍자, 모호한 레이블링으로 인한 오분류가 어떻게 발생하는지 검증한다.
• 기존 문헌을 바탕으로 편향(예: 인종, 성별, 심리적 특성)을 데이터 수집 및 애너테이션 과정과 연결하여 모델 성능 문제와 연계한다.

실험 결과

연구 질문

• RQ1 불균형 데이터셋, 코드 스위칭, 인용된 혐오 발언 등의 데이터 수준 과제가 기계학습 기반 혐오 발언 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ2 은폐된 혐오 발언, 문란한 비속어를 사용한 비혐오 발언, 겹치는 레이블 등의 모델 수준 과제가 오분류를 초래하고 모델의 견고성을 떨어뜨리는 방식은 무엇인가?
• RQ3 애너테이션 불일치 및 사용자 의도 해석의 어려움(예: 풍자 또는 역사적 맥락) 등 인간 수준의 과제가 데이터 품질과 모델 일반화에 어떤 영향을 미치는가?
• RQ4 맥락의 모호성과 혐오 발언에 대한 통일된 정의가 부족함으로 인해 애너테이션과 모델 훈련 과정에서 발생하는 일관성 없는 결과는 어느 정도인가?
• RQ5 과제의 계층적 프레임워크는 더 정확하고 공정하며 맥락 인식 능력을 갖춘 혐오 발언 탐지 시스템 설계에 어떻게 기여하는가?

주요 결과

• 혐오 발언에 대한 통일된 정의가 없음으로 인해 애너테이터 간 불일치가 심각하게 발생하여 간판 일치도(kappa 점수)가 낮고 신뢰할 수 없는 훈련 데이터가 만들어진다.
• 코드 스위칭(예: 소셜 미디어에서 히ン디-영어 혼합)과 인용된 혐오 발언(예: '무슬림들은 자기들의 지하니에 보내져야 한다') 등의 데이터 수준 과제는 모델 일반화를 어렵게 하고 가짜 양성 결과를 증가시킨다.
• 은폐된 혐오 발언(예: 'fcuked'가 찬사를 위해 사용됨)과 문란한 비속어를 사용한 비혐오 발언(예: 'No f**king way') 등의 모델 수준 과제는 높은 모호성을 유도하여 최첨단 모델조차도 오분류를 일으킨다.
• 겹치는 레이블—한 댓글이 여러 클래스의 특성을 동시에 갖는 경우—는 애너테이터가 임의의 결정을 내려야 하므로 모델 학습과 일반화를 약화시킨다.
• 사용자 의도 해석의 어려움(예: 풍자나 '히틀러는 유대인에게 최고의 해결책을 가졌었다' 같은 역사적 참조) 등 인간 수준의 과제는 수동 애너테이션의 신뢰도를 크게 떨어뜨린다.
• 계층적 프레임워크는 데이터, 모델, 인간 수준의 과제 간 상호작용을 효과적으로 맵핑하여 맥락 의존성과 편향이 정확한 혐오 발언 탐지 시스템 구축의 지속적인 어려움의 핵심 요소임을 드러낸다.