[논문 리뷰] A Legal Approach to Hate Speech: Operationalizing the EU's Legal Framework against the Expression of Hatred as an NLP Task

Frederike Zufall, Marius Hamacher외 2명|arXiv (Cornell University)|2020. 04. 07.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 EU 프레임워크 결의안 2008/913/JHA를 두 단계의 NLP 작업으로 구체화하여 혐오 발언 탐지에 법적 접근을 제안한다: 대상 집단 식별과 대상 행위 식별. 복잡한 법적 판단을 더 단순하고 설명 가능한 하위 작업으로 분해함으로써, 종단 간 모델보다 높은 정확도와 투명성을 달성하며, 자동 혐오 발언 모니터링을 위한 신뢰할 수 있고 법적으로 근거가 있는 프레임워크를 제공한다.

ABSTRACT

We propose a 'legal approach' to hate speech detection by operationalization of the decision as to whether a post is subject to criminal law into an NLP task. Comparing existing regulatory regimes for hate speech, we base our investigation on the European Union's framework as it provides a widely applicable legal minimum standard. Accurately judging whether a post is punishable or not usually requires legal training. We show that, by breaking the legal assessment down into a series of simpler sub-decisions, even laypersons can annotate consistently. Based on a newly annotated dataset, our experiments show that directly learning an automated model of punishable content is challenging. However, learning the two sub-tasks of `target group' and `targeting conduct' instead of an end-to-end approach to punishability yields better results. Overall, our method also provides decisions that are more transparent than those of end-to-end models, which is a crucial point in legal decision-making.

연구 동기 및 목표

• NLP에서 일관되지 않은 혐오 발언 정의 문제를 해결하기 위해 탐지를 유 binding한 법적 프레임워크에 기반시키기 위해.
• EU 프레임워크 결의안 2008/913/JHA를 기계 학습에 적합한 구조화되고 애너테이션 가능한 NLP 작업으로 구체화하기 위해.
• 종단 간 모델의 블랙박스 성향을 제거하고 모듈화된, 법적으로 준수 가능한 하위 작업으로 전환함으로써 자동 혐오 발언 탐지의 투명성과 설명 가능성을 향상시키기 위해.
• 직접 '처벌 가능성'을 학습하는 것보다 '대상 집단'과 '대상 행위'를 별도의 하위 작업으로 학습하는 것이 더 효과적임을 입증하기 위해.
• GDPR 및 기본 권리 준수를 강조함으로써 윤리적인 배포를 보장하기 위해 인간의 감시를 강조하기 위해.

제안 방법

• EU 프레임워크 결의안 2008/913/JHA의 법적 프레임워크를 이진 결정 단계로 분해한다: 게시물이 보호받는 집단을 대상으로 하는지 여부, 그리고 혐오나 폭력에 대한 선동이 포함되어 있는지 여부.
• 기존의 법적 기준에 기반한 구조화된 애너테이션 체계를 사용하여 훈련된 일반인들이 새로운 데이터셋을 애너테이션함으로써 애너테이터 간 일관성을 확보한다.
• 이 접근법은 탐지 작업을 두 하위 작업으로 분리한다: (1) 대상 집단 식별(예: 무슬림, 레즈비언·Lesbian·게이·비이성애자·퀴어·LGBTQ+, 여성 등) 및 (2) 해로운 행위 탐지(예: 혐오나 폭력에 대한 선동 등).
• 두 단계 모델을 훈련한다: 먼저 집단 탐지에 대해, 그 다음에 행위 탐지에 대해 훈련하며, 최종적인 처벌 가능성 결정은 두 출력의 조합으로 유도한다.
• 종단 간 모델이 블랙박스로 작동하는 데 반해, 이 방법은 추적 가능한 추론 과정을 제공함으로써 투명성을 강조한다.
• 데이터셋은 GDPR 준수를 위해 실제 게시물은 보관하지 않고 익명화된 형태로 공개되며, 연구 목적을 위해 합성 예시는 공개 가능하다.

실험 결과

연구 질문

• RQ1 EU 프레임워크 결의안 2008/913/JHA는 혐오 발언 탐지에 대해 신뢰할 수 있고 기계로 읽을 수 있는 NLP 작업으로 효과적으로 구체화될 수 있는가?
• RQ2 종단 간 작업으로 직접 '처벌 가능성'을 학습하는 것이 '대상 집단'과 '대상 행위' 탐지의 하위 작업으로 분해하는 것보다 더 효과적인가?
• RQ3 일반인이 구조화된 애너테이션 체계를 사용하여 EU 프레임워크 결의안의 법적 기준을 일관되게 적용하여 혐오 발언을 애너테이션할 수 있는가?
• RQ4 집단 및 행위 탐지의 모듈러한 접근 방식은 종단 간 모델보다 더 높은 모델 성능과 더 높은 투명성을 제공하는가?
• RQ5 혐오 발언 탐지 NLP 시스템은 표현의 자유를 포함한 기본 권리 존중과 동시에 법적 준수 및 윤리적 배포를 보장하기 위해 어떻게 설계되어야 하는가?

주요 결과

• 처벌 가능성의 직접적인 종단 간 학습은 어렵고 성능이 열악하여, 법적 결정 과정이 직접 모델링하기에 너무 복잡함을 시사한다.
• 대상 집단과 대상 행위 탐지의 두 하위 작업을 별도로 학습하는 것이 종단 간 공동 훈련보다 유의미하게 높은 성능을 달성한다.
• 애너테이션 체계는 일반인이 법적 기준을 일관되게 적용할 수 있도록 하여, 법적 사고가 구조화되고 반복 가능한 NLP 작업으로 구체화될 수 있음을 입증한다.
• 모듈러한 접근 방식은 투명성과 설명 가능성을 향상시켜, 검사관과 같은 법적 당사자가 모델 결정을 이해하고 검증하기 쉽게 한다.
• 블랙박스 대비 모델의 출력은 더 이해하기 쉬우며, 표현의 자유와 같은 기본 권리에 영향을 줄 수 있는 시스템에서 필수적이다.
• 데이터셋은 민감한 개인 정보를 포함하고 있으나, 익명화된 형태로 공개되며 합성 예시가 제공되어 GDPR 준수와 윤리적인 데이터 사용을 보장한다.