[논문 리뷰] A Dictionary-based Approach to Racism Detection in Dutch Social Media

Stéphan Tulkens, Lisa Hilte외 3명|arXiv (Cornell University)|2016. 08. 31.

Natural Language Processing Techniques참고 문헌 9인용 수 75

한 줄 요약

이 논문은 수작업으로 제작한 사전과 word2vec으로 보완한 사전을 사용하여 네덜란드어 소셜미디어 댓글에서 인종차별을 탐지하기 위한 사전 기반 접근법을 제시한다. 지원벡터기계(SVM)를 활용한 최적의 모델은 검증되지 않은 테스트 데이터에서 인종차별 클래스에 대해 F-스코어 0.46를 기록했으며, 자동 확장 기법은 통계적으로 유의미한 성능 향상을 가져오지 못했음에도 불구하고 어휘 커버리지가 증가하였다.

ABSTRACT

We present a dictionary-based approach to racism detection in Dutch social media comments, which were retrieved from two public Belgian social media sites likely to attract racist reactions. These comments were labeled as racist or non-racist by multiple annotators. For our approach, three discourse dictionaries were created: first, we created a dictionary by retrieving possibly racist and more neutral terms from the training data, and then augmenting these with more general words to remove some bias. A second dictionary was created through automatic expansion using a exttt{word2vec} model trained on a large corpus of general Dutch text. Finally, a third dictionary was created by manually filtering out incorrect expansions. We trained multiple Support Vector Machines, using the distribution of words over the different categories in the dictionaries as features. The best-performing model used the manually cleaned dictionary and obtained an F-score of 0.46 for the racist class on a test set consisting of unseen Dutch comments, retrieved from the same sites used for the training set. The automated expansion of the dictionary only slightly boosted the model's performance, and this increase in performance was not statistically significant. The fact that the coverage of the expanded dictionaries did increase indicates that the words that were automatically added did occur in the corpus, but were not able to meaningfully impact performance. The dictionaries, code, and the procedure for requesting the corpus are available at: https://github.com/clips/hades

연구 동기 및 목표

• 공식적인 채널을 통해 신고되지 않은 네덜란드어 소셜미디어 댓글에서 인종차별 언어를 자동으로 탐지하기 위한 시스템 개발
• word2vec 임bedding으로 보강된 사전 기반 접근법이 네덜란드어 온라인 콘텐츠에서 인종차별적 논의를 효과적으로 분류할 수 있는지 조사
• 자동 사전 확장이 분류 성능에 미치는 영향, 특히 수작업으로 정제된 단어 목록과의 비교를 평가
• 네덜란드어 소셜미디어 논의에서 '우리/그들' 구조, 스테레오타입, 특정 n-그램과 같은 언어적 지표를 탐색
• 향후 연구 및 정책 노력에 기여할 수 있는 재사용 가능하고 오픈소스 도구를 개발

제안 방법

• 세 가지 논의 사전을 제작함: 학습 데이터에 대한 애너테이션 기반 사전, 일반 네덜란드어 텍스트에서 학습한 word2vec 모델을 활용한 확장 사전, 그리고 불필요한 용어를 제거하기 위해 수작업으로 정제한 사전
• 다양한 사전 유형의 특징을 기반으로 단어 분포 특징을 입력 벡터로 사용하여 지원벡터기계(SVM)를 훈련
• 모델은 인종, 국적, 종교, 문화와 관련된 부정적 일반화 및 모욕어를 포함하는 일반적인 인종차별 정의를 사용함
• 동일한 소셜미디어 출처에서 수집한 검증되지 않은 네덜란드어 댓글 테스트 세트를 대상으로 정밀도, 재현율, F-스코어, AUC를 사용해 성능 평가
• word2vec 모델을 활용해 대규모 네덜란드어 코퍼스에서 어휘 유사어를 자동으로 추가하여 초반 사전을 확장
• 자동 확장 과정에서 추가된 저품질 또는 관련 없는 용어를 제거하기 위해 수작업 필터링을 실시하여 특징의 관련성 향상

실험 결과

연구 질문

• RQ1 단어 분포 특징만을 사용하는 사전 기반 접근법이 네덜란드어 소셜미디어 댓글에서 인종차별 언어를 효과적으로 탐지할 수 있는가?
• RQ2 word2vec을 활용한 수작업으로 제작한 인종차별 사전의 자동 확장이 검증되지 않은 데이터에서 분류 성능을 향상시키는가?
• RQ3 '우리/그들' 구조, 스테레오타입, 특정 n-그램과 같은 언어적 지표가 네덜란드어 온라인 텍스트에서 인종차별 논의를 탐지하는 데 어느 정도 기여하는가?
• RQ4 어휘 커버리지가 증가했음에도 불구하고 자동 사전 확장이 성능 향상에 실패하는 이유는 무엇인가?
• RQ5 이 모델은 반무슬림 포럼 외부의 더 넓은 소셜미디어 콘텐츠에 적용되었을 때 얼마나 일반화 가능한가?

주요 결과

• 수작업으로 정제한 사전을 사용한 최고의 성능 모델은 테스트 세트에서 인종차별 클래스에 대해 F-스코어 0.46를 기록하여 중간 정도이지만 의미 있는 탐지 능력을 보였다.
• 모델의 테스트 세트 성능(F-스코어 0.46)은 교차검증을 통한 훈련 데이터 성능(F-스코어 0.49)보다 略적으로 낮아, 약간의 과적합 또는 데이터 분포의 변화가 있을 수 있음을 시사했다.
• word2vec을 활용한 자동 사전 확장은 어휘 커버리지를 100% 이상 증가시켰음(코퍼스의 0.014%에서 0.035%로), 그러나 F-스코어는 유의미하게 향상되지 않았음(0.45 대비 0.46).
• 커버리지 증가가 빈도 기반으로는 인종차별적과 비인종차별적 댓글을 더 잘 구분하지 못했음을 의미하며, 추가된 용어들이 맥락에서 구분력이 없음을 시사함.
• 모델의 AUC 점수는 모든 사전 유형에서 일관되게 0.63을 유지하여 안정적인 성능를 보였지만, 강한 구분 능력은 아님.
• 일반적인 스타일적 또는 콘텐츠 기반 어휘 카테고리가 인종차별 전용 단어 목록과 조합될 경우 성능 향상에 기여하지 못함.