[논문 리뷰] KOLD: Korean Offensive Language Dataset

Younghoon Jeong, Juhyun Oh외 5명|arXiv (Cornell University)|2022. 05. 23.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 뉴스 및 유튜브에서 수집한 40,429개의 댓글을 바탕으로, 공격성 유형, 대상, 대상 집단 분류와 함께 스팸 수준의 주석을 포함한, 한국어 공격적 언어에 대한 최초의 대규모 계층적 주석 처리된 데이터셋인 KOLD를 소개한다. 연구에서는 문맥(기사/비디오 제목)을 제공할 경우 모델 성능이 크게 향상됨을 입증하였으며, 특히 대상 집단 분류에서 +13.1 F1 향상이 이루어졌고, 영어 데이터셋과 비교해 한국어 공격적 언어의 분포에 문화적 차이가 있음을 밝혔다.

ABSTRACT

Recent directions for offensive language detection are hierarchical modeling, identifying the type and the target of offensive language, and interpretability with offensive span annotation and prediction. These improvements are focused on English and do not transfer well to other languages because of cultural and linguistic differences. In this paper, we present the Korean Offensive Language Dataset (KOLD) comprising 40,429 comments, which are annotated hierarchically with the type and the target of offensive language, accompanied by annotations of the corresponding text spans. We collect the comments from NAVER news and YouTube platform and provide the titles of the articles and videos as the context information for the annotation process. We use these annotated comments as training data for Korean BERT and RoBERTa models and find that they are effective at offensiveness detection, target classification, and target span detection while having room for improvement for target group classification and offensive span detection. We discover that the target group distribution differs drastically from the existing English datasets, and observe that providing the context information improves the model performance in offensiveness detection (+0.3), target classification (+1.5), and target group classification (+13.1). We publicly release the dataset and baseline models.

연구 동기 및 목표

• 한국어는 언어적·문화적 특성이 뚜렷한 언어임에도 불구하고, 종합적이고 문화적 기반을 갖춘 공격적 언어 데이터셋이 부족한 문제를 해결한다.
• 공격적 언어 유형, 대상(개인/집단), 대상 집단 신원을 포괄하는 계층적 주석 프레임워크를 개발하여 세밀한 분석을 가능하게 한다.
• 공격성 구간과 대상 구간을 주석 처리하여 댓글 내에서 공격성 어휘와 대상 어휘를 명시함으로써 모델의 해석 가능성과 설명 가능성을 향상시킨다.
• 저자원, 비영어 환경에서 공격적 언어 탐지 성능에 문맥 정보(예: 기사 또는 비디오 제목)가 미치는 영향을 조사한다.
• 미래의 多언어 공격적 언어 탐지 연구를 지원하고 NLP 시스템 내 편향을 완화하기 위해 공개된 데이터셋과 기준 모델을 제공한다.

제안 방법

• NAVER 뉴스 및 유튜브에서 40,429개의 공격적 댓글을 수집하였으며, 관련 기사 또는 비디오 제목을 문맥 메타데이터로 제공하였다.
• 계층적 주석 체계를 설계하여 다음을 레이블링: (1) 공격성 여부(OFF/NOT), (2) 대상 유형(IND/GRP/OTH/UNT), (3) 대상 집단(예: 인종, 성별, 종교), (4) 공격성 어휘 및 대상 어휘에 대한 스팸 수준 주석.
• 일관성과 모호한 사례 처리를 위해 엄격한 지침과 반복적 업데이트를 적용한 3,124명의 다중 주석자 레이블링 프로세스를 구현하였다.
• KOLD 데이터셋을 기반으로 한국어 BERT 및 RoBERTa 모델을 미세조정하여 공격성 여부 탐지, 대상 분류, 스팸 감지 작업을 동시에 수행하는 다중 작업 학습을 수행하였다.
• 문맥(제목) 유무에 따라 모델 성능을 평가하여 분류 및 스팸 감지 작업에 미치는 영향을 분석하였다.
• 기존 영어 데이터셋과의 비교를 통해 KOLD의 대상 집단 분포를 분석하는 아블레이션 연구를 수행하였으며, 상당한 언어적·문화적 차이를 확인하였다.

실험 결과

연구 질문

• RQ1 기존 영어 공격적 언어 데이터셋과 비교해 한국어에서 공격적 언어의 대상 및 집단 분포는 어떻게 다를까?
• RQ2 기사 또는 비디오 제목과 같은 문맥 정보를 제공할 경우, 한국어 공격적 언어 탐지 모델의 성능은 어느 정도 향상되는가?
• RQ3 스팸 수준 주석을 포함한 계층적 주석 체계는 공격적 언어 탐지 작업에서 모델의 해석 가능성과 성능을 향상시킬 수 있는가?
• RQ4 KOLD를 활용해 미세조정된 한국어 BERT 및 RoBERTa 모델은 공격성 여부 탐지, 대상 분류, 스팸 감지 작업을 위한 다중 작업 학습에서 얼마나 효과적인가?
• RQ5 현재의 다국어 모델이 한국어 공격적 언어에 적용되었을 때의 한계는 무엇이며, 언어별 특화된 데이터셋을 통해 이를 어떻게 보완할 수 있는가?

주요 결과

• 문맥(제목) 제공으로 공격성 여부 탐지 성능이 +0.3 F1, 대상 분류 성능이 +1.5 F1, 대상 집단 분류 성능이 +13.1 F1 향상되어, 저자원 비영어 환경에서 문맥의 핵심적 역할을 입증하였다.
• KOLD의 대상 집단 분포는 기존 영어 데이터셋과 상당한 차이를 보이며, 인종/민족 및 종교 집단을 대상으로 한 공격적 콘텐츠 비율이 높아, 공격적 언어의 문화적 특수성을 반영한다.
• KOLD 데이터셋은 한국어 BERT 및 RoBERTa 모델의 효과적인 미세조정을 가능하게 하여 공격성 여부 탐지 및 대상 분류에서 뛰어난 성능을 달성하였지만, 대상 집단 및 스팸 감지 분야에선 향상 여지가 남아 있다.
• 주석자들이 공격적 댓글에서 자주 대상 어휘를 생략함에 따라, 모델은 대상 어휘를 추론하기 위해 문맥에 의존해야 하며, 이는 문맥 정보의 중요성을 강조한다.
• 다국어 모델이 영어 데이터로 학습된 경우 한국어에 대해 일반화가 잘 되지 않음을 확인하였으며, 언어적·문화적 차이로 인한 문제를 고려할 때 언어별 특화된 데이터셋의 필요성을 강조한다.
• 높은 주석 비용과 복잡성에도 불구하고, KOLD의 계층적·문맥 인식 주석 프레임워크는 비영어 언어에서 설명 가능하고 문화적으로 기반을 둔 공격적 언어 탐지의 새로운 기준을 설정한다.