[논문 리뷰] Korean Online Hate Speech Dataset for Multilabel Classification: How Can Social Science Improve Dataset on Hate Speech?

Tae‐Young Kang, Eunrang Kwon외 4명|arXiv (Cornell University)|2022. 04. 07.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 문화적·언어적 고려를 반영한 접근 방식을 사용하여 일곱 가지 범주—인종/국적, 종교, 지역주의, 연령차별, 여성 혐오, 성소수자, 남성—을 포함하는 다중라벨 코리안 온라인 혐오 발언 데이터셋을 소개한다. 인간 레이블링과 규칙 기반 생성 데이터를 포함한 총 35,000개의 샘플을 바탕으로, 데이터 증강 후 모델은 LRAP 점수 0.919를 기록하였으며, 이는 사회과학적 통찰이 서양 중심의 이진 분류 프레임워크를 초월하여 혐오 발언 데이터셋을 향상시킬 수 있음을 보여준다.

ABSTRACT

We suggest a multilabel Korean online hate speech dataset that covers seven categories of hate speech: (1) Race and Nationality, (2) Religion, (3) Regionalism, (4) Ageism, (5) Misogyny, (6) Sexual Minorities, and (7) Male. Our 35K dataset consists of 24K online comments with Krippendorff's Alpha label accordance of .713, 2.2K neutral sentences from Wikipedia, 1.7K additionally labeled sentences generated by the Human-in-the-Loop procedure and rule-generated 7.1K neutral sentences. The base model with 24K initial dataset achieved the accuracy of LRAP .892, but improved to .919 after being combined with 11K additional data. Unlike the conventional binary hate and non-hate dichotomy approach, we designed a dataset considering both the cultural and linguistic context to overcome the limitations of western culture-based English texts. Thus, this paper is not only limited to presenting a local hate speech dataset but extends as a manual for building a more generalized hate speech dataset with diverse cultural backgrounds based on social science perspectives.

연구 동기 및 목표

• 기존 혐오 발언 데이터셋이 주로 서양의 영어 중심 맥락에 기반하여 문화적·언어적 제약이 있음을 해결하기 위해.
• 이중 분류를 초월하여 복잡한 혐오 발언의 특성을 반영할 수 있는 다중라벨 혐오 발언 데이터셋을 한국 온라인 논의에 적용하기 위해.
• 사회과학적 시각을 데이터셋 구축에 통합하여 NLP 모델의 대표성 향상과 문화적 편향 감소를 위해.
• 인간 중심의 레이블링과 규칙 기반 생성이 자원이 적고 문화적으로 특수한 환경에서 데이터 품질과 모델 성능 향상에 효과적임을 입증하기 위해.

제안 방법

• 데이터셋은 다중라벨 프레임워크를 사용해 일곱 가지 혐오 발언 범주에 대해 24,000개의 인간 레이블링된 온라인 댓글로 구성되어 있다.
• 레이블 신뢰도를 확보하기 위해 상호 평가자 간 일致성 평가에 Krippendorff’s Alpha 0.713을 사용하였다.
• 데이터 균형 및 모델 일반화 향상을 위해 인간-중심 프로세스와 규칙 기반 방법을 활용해 추가로 11,000개의 샘플을 생성하였다.
• 기본 BERT 기반 모델은 초기 24,000개 데이터셋으로 미세조정되었고, 추가로 11,000개 샘플을 통합한 후 재학습하여 성능 향상을 평가하였다.
• 한국 특유의 사회언어학적 및 문화적 맥락, 예를 들어 지역 방언과 계층적 사회 규범을 데이터셋 설계에 통합하여 현지 혐오 발언 양상의 정확한 반영을 도모하였다.
• 성능 평가에는 다중라벨 분류의 효과성을 반영하는 Label Ranking Average Precision (LRAP) 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 사회과학적 통찰은 비영어권, 비서양 맥락에서 혐오 발언 데이터셋의 설계 및 레이블링을 어떻게 향상시킬 수 있는가?
• RQ2 다중라벨 범주를 통합할 경우, 한국 온라인 논의에서 혐오 발언 탐지 모델의 대표성과 성능은 어느 정도 향상되는가?
• RQ3 인간 중심의 레이블링과 규칙 기반 생성의 조합은 자원이 적고 문화적으로 특수한 환경에서 혐오 발언 데이터셋을 효과적으로 확장하면서도 품질을 유지할 수 있는가?
• RQ4 레이블링 과정에서 문화적·언어적 특수성이 어떻게 모델의 일반화 능력과 공정성에 영향을 미치는가?
• RQ5 다중라벨 설정에서 핵심 데이터셋에 맥락 기반 샘플을 추가로 증강함으로써 달성할 수 있는 성능 향상은 무엇인가?

주요 결과

• 기본 모델은 초기 24,000개 데이터셋에서 LRAP 점수 0.892를 기록하여 강력한 다중라벨 분류 성능를 보였다.
• 추가로 11,000개의 샘플(2,200개 인간 레이블링, 7,100개 규칙 기반 생성)을 통합한 후 모델의 LRAP 점수는 0.919로 향상되었으며, 이는 데이터 증강의 가치를 입증한다.
• 데이터셋은 Krippendorff’s Alpha 0.713을 기록하여 일곱 가지 혐오 발언 범주 간 상당한 상호 평가자 일致성 수준을 확보하였다.
• 다중라벨 프레임워크는 한국 온라인 논의에서 흔한, 여성 혐오와 지역주의가 겹치는 경우를 성공적으로 포착하였다.
• 사회과학적 시각을 데이터셋 설계에 통합함으로써, 이중 분류 접근 방식에 비해 더 세밀하고 맥락에 기반한 혐오 발언 표현이 가능해졌다.
• 연구는 문화적으로 기반을 둔 레이블링 과정이 자원이 적고 비영어권 환경에서 더 신뢰할 수 있고 일반화 가능한 혐오 발언 데이터셋을 만들어낼 수 있음을 입증한다.