[논문 리뷰] RiTUAL-UH at TRAC 2018 Shared Task: Aggression Identification

Niloofar Safi Samghabadi, Deepthi Mave외 2명|arXiv (Cornell University)|2018. 07. 31.

Hate Speech and Cyberbullying Detection참고 문헌 14인용 수 16

한 줄 요약

이 논문은 영어 및 히ند어 소셜 미디어 텍스트에서 공격성 수준—비공격성, 명시적 공격성, 암시적 공격성—을 식별하기 위한 시스템을 제안한다. 어휘적 및 의미적 특징을 사용한다. 영어에서는 TF-IDF 가중 n-그램, 워드 임베딩, 감성, LIWC 특징의 조합이 F1 스코어 0.5921(페이스북) 및 0.5663(소셜 미디어)를 기록하였다. 히нд어에서는 어휘적 특징(단어, TF-IDF)만이 다른 특징들을 능가하여, 페이스북에서 0.6292(1위), 소셜 미디어에서 0.4853(2위)의 성능을 기록하였다.

ABSTRACT

This paper presents our system for "TRAC 2018 Shared Task on Aggression Identification". Our best systems for the English dataset use a combination of lexical and semantic features. However, for Hindi data using only lexical features gave us the best results. We obtained weighted F1- measures of 0.5921 for the English Facebook task (ranked 12th), 0.5663 for the English Social Media task (ranked 6th), 0.6292 for the Hindi Facebook task (ranked 1st), and 0.4853 for the Hindi Social Media task (ranked 2nd).

연구 동기 및 목표

• 다국어 소셜 미디어 콘텐츠를 대상으로 한 공격성 식별 시스템을 구축하여 강건성을 확보한다. 주로 영어 및 히нд어를 대상으로 한다.
• 소음이 많고 비공식적인 온라인 텍스트에서 명시적 공격성, 암시적 공격성, 비공격성 댓글을 구분하는 데 도전한다.
• 다양한 언어 및 플랫폼 환경에서 어휘적, 의미적, 감성, 어휘 기반 특징의 효과를 평가한다.
• 영어에서는 성공한 의미적 및 감성 특징에 비해 히нд어에서는 어휘적 특징이 더 뛰어나지 않는 이유를 탐구한다.
• 오분류된 인스턴스의 특징 중요도 및 혼동 패턴 분석을 통해 분류 성능을 향상시킨다.

제안 방법

• 어휘적 특징 추출을 위해 unigram, bigram, trigram, 문자 n-그램(3–5), 스킵그램(k=2, n=2,3)에 TF-IDF 가중치를 적용하였다.
• 영어에 대해서는 사전 학습된 Google News 워드 임베딩(300D)을 사용하였으며, 댓글 단위 평균 워드 벡터를 계산하였고, 63%의 커버리지 확보하였다.
• 감성 분포의 평균 및 표준편차를 댓글 단위로 추출하기 위해 Stanford 감성 분석 툴을 통합하였다.
• LIWC2007을 사용하여 긍정/부정 감정 및 자기참조 관련 어휘의 정규화된 카운트를 추출하였다.
• 코드 혼합 히нд어-영어 데이터를 처리하기 위해 내부 개발된 CRF 기반 언어 식별 시스템을 사용하였으며, F1-가중치 97%의 성능을 기록하였다.
• 일관된 처리를 위해 indic-trans 도구를 사용하여 데바나가리 스크립트 히нд어 텍스트를 로마자 스크립트로 변환하였다.

실험 결과

연구 질문

• RQ1 어휘적, 의미적, 감성, 어휘 기반 특징의 다양한 조합이 영어 및 히нд어에서 공격성 분류 성능에 미치는 영향은 어떠한가?
• RQ2 영어에서는 의미적 및 감성 특징이 성공한 반면, 히нд어에서는 순수 어휘적 특징이 하이브리드 모델을 능가하는 이유는 무엇인가?
• RQ3 비속어가 없는 암시적 공격성 댓글을 식별하기 위해 가장 구분력 있는 특징는 무엇인가?
• RQ4 학습 및 테스트 세트 간 레이블 분포의 불균형이 모델 일반화 및 성능에 미치는 영향은 어떠한가?
• RQ5 코드 혼합 및 다국어 인스턴스는 영어와 히нд어 간 공격성 탐지 성능 격차를 어떻게 설명하는가?

주요 결과

• 영어 페이스북 과제에서 시스템은 가중 F1 스코어 0.5921을 기록하여 20개 팀 중 12위를 차지하였다.
• 영어 소셜 미디어 과제에서 시스템은 가중 F1 스코어 0.5663을 기록하여 20개 팀 중 6위를 차지하였다.
• 히нд어 페이스북 과제에서 시스템은 가중 F1 스코어 0.6292를 기록하여 19개 팀 중 1위를 차지하였다.
• 히нд어 소셜 미디어 과제에서 시스템은 가중 F1 스코어 0.4853을 기록하여 19개 팀 중 2위를 차지하였다.
• 혼동 행렬 분석 결과, 비공격성(NAG) 인스턴스가 특히 영어에서 암시적 공격성(CAG)으로 잘못 분류되는 경향이 있었으며, 이는 CAG 예제에서 비속어 사용 빈도가 낮기 때문이었다.
• 히нд어에서는 CAG의 상위 특징으로 저속어 및 공격적 어휘의 문자 trigram이 나타났고, NAG 예제는 중립적인 영어 단어로 구성되어 있어 클래스 간 강한 특징 분리가 이루어졌음을 시사하였다.