[논문 리뷰] Detecting Abusive Language on Online Platforms: A Critical Analysis.

Preslav Nakov, Vibha Nayak외 8명|arXiv (Cornell University)|2021. 02. 27.

Hate Speech and Cyberbullying Detection참고 문헌 79인용 수 16

한 줄 요약

이 논문은 온라인 플랫폼의 콘텐츠 모더레이션 목표와 폭력적 언어 탐지에 대한 현재의 NLP 연구 간 격차를 철저히 분석하여, 실제 모더레이션 우선순위와 학술 연구의 초점 사이에 불일치가 있음을 드러낸다. 기존 탐지 방법과 플랫폼 정책을 조사하며, 다양한 공동체에서 폭력적 언어를 공정하고 효과적으로 식별하기 위해 맥락 인식형, 포용적이고 윤리적으로 기반을 둔 접근법을 주장한다.

ABSTRACT

Abusive language on online platforms is a major societal problem, often leading to important societal problems such as the marginalisation of underrepresented minorities. There are many different forms of abusive language such as hate speech, profanity, and cyber-bullying, and online platforms seek to moderate it in order to limit societal harm, to comply with legislation, and to create a more inclusive environment for their users. Within the field of Natural Language Processing, researchers have developed different methods for automatically detecting abusive language, often focusing on specific subproblems or on narrow communities, as what is considered abusive language very much differs by context. We argue that there is currently a dichotomy between what types of abusive language online platforms seek to curb, and what research efforts there are to automatically detect abusive language. We thus survey existing methods as well as content moderation policies by online platforms in this light, and we suggest directions for future work.

연구 동기 및 목표

• 온라인 플랫폼이 모더레이션을 위해 우선시하는 폭력적 언어 유형과 현재 NLP 연구의 범위 사이의 괴리를 특정하기.
• 기존 NLP 방법이 폭력적 언어를 탐지하는 방식을 검토하고, 실제 플랫폼 콘텐츠 모더레이션 정책과의 일치성을 평가하기.
• 폭력적 행위의 정의가 맥락에 따라 달라져서 기존 탐지 결과에 일관성 없음을 드러내기.
• 맥락 이해, 공정성, 포용성을 우선시하는 미래 연구 방향을 제안하여 폭력적 언어 탐지 시스템의 개선을 도모하기.
• 학술 연구 혁신과 실질적 모더레이션 요구 사항 간 격차를 줄이기 위해 NLP 연구자와 플랫폼 개발자 간 협력을 장려하기.

제안 방법

• 기존 NLP 방법이 폭력적 언어를 탐지하는 데 사용하는 기술적 접근법과 한계를 중심으로 비교 조사 수행.
• 주요 온라인 플랫폼의 공개 콘텐츠 모더레이션 정책을 분석하여 폭력적 언어에 대한 정의와 우선순위 이해하기.
• 연구 중심의 탐지 기법과 플랫폼 전용 정책 목표 간의 일치를 맵핑하고 핵심 괴리점 식별하기.
• 맥락 민감도, 소수자 공동체에 대한 적용 가능성, 소수 집단 간 공정성 기준에 따라 탐지 방법 평가하기.
• 정성적 및 비교 분석을 통해 현재 연구의 반복적인 한계점 파악하기, 예를 들어 좁은 데이터셋에 대한 과도한 의존 또는 이진 분류 작업.
• 맥락 인식형, 다중 맥락 기반, 정의 중심의 탐지 모델을 강조하는 향후 연구 프레임워크 제안하기.

실험 결과

연구 질문

• RQ1 온라인 플랫폼은 콘텐츠 모더레이션 정책에서 어떤 유형의 폭력적 언어를 우선시하는가?
• RQ2 현재 NLP 연구에서 폭력적 언어를 탐지하는 방법은 이러한 플랫폼 우선순위와 얼마나 일치하는가?
• RQ3 폭력적 행위의 맥락적 및 공동체 기반 정의는 기존 탐지 모델의 일반화 가능성에 어떤 방식으로 도전하는가?
• RQ4 현재 NLP 접근법이 다양한 사회적 맥락에서 폭력적 언어의 미묘한 특징을 포착하는 데에 겪는 주요 한계는 무엇인가?
• RQ5 향후 NLP 연구는 온라인 플랫폼에서 공정하고 효과적인 콘텐츠 모더레이션을 어떻게 더 잘 뒷받침할 수 있는가?

주요 결과

• 플랫폼이 모더레이션을 위해 우선시하는 폭력적 언어 유형과 현재 NLP 연구의 범위 사이에 상당한 괴리가 존재하며, 연구 대부분이 고리적, 고도로 노출된 형태인 혐오 발언에 집중하는 경향이 있다.
• 많은 NLP 탐지 방법은 맥락 기반 폭력적 표현을 고려하지 않아 실제 응용에서 높은 거짓 양성 또는 거짓 음성 비율을 초래한다.
• 연구 노력은 종종 소수자 공동체의 필요를 간과하여 기존에 취약한 집단을 추가로 배제하는 편향된 모델을 초래한다.
• 플랫폼 정책은 일반적으로 학술 데이터셋과 모델에서 다루지 않는 미세한 폭력적 행동(예: 마이크로아그레션, 톤 기반 괴롭힘)과 같은 세분화된 폭력 유형을 포함한다.
• 현재 탐지 시스템은 주로 공개된 영어 기반 데이터셋에 훈련되어 있어, 다국어 또는 문화적으로 특수한 폭력적 형태의 적용 가능성을 제한한다.
• 실제 모더레이션 우선순위를 반영하는 표준화된 평가 기준이 부족하여 공정하고 맥락 민감도가 높은 탐지 시스템 개발에 진전이 느리다.