[논문 리뷰] SemEval-2019 Task 6: Identifying and Categorizing Offensive Language in Social Media.

Andrei-Bogdan Puiu, Andrei-Octavian Brabete|arXiv (Cornell University)|2019. 03. 02.

Hate Speech and Cyberbullying Detection참고 문헌 6인용 수 8

한 줄 요약

이 논문은 딥러닝, SVM, 랜덤 포레스트를 활용한 다단계 접근 방식을 통해 소셜 미디어에서 폭력적 언어를 식별하고 분류하는 방법을 제시한다. 이는 공격적인 트윗을 탐지하고, 공격 대상이 특정 개인 또는 집단인지를 분류하며, 공격 대상의 유형을 식별하는 데 있어 뛰어난 성능을 발휘하며, 특히 모델 설계 및 트윗 내에서의 미묘한 폭력적 언어 처리에 기여한다.

ABSTRACT

This short paper presents the design decisions taken and challenges encountered in completing SemEval Task 6, which poses the problem of identifying and categorizing offensive language in tweets. Our proposed solutions explore Deep Learning techniques, Linear Support Vector classification and Random Forests to identify offensive tweets, to classify offenses as targeted or untargeted and eventually to identify the target subject type.

연구 동기 및 목표

• 소셜 미디어, 특히 트윗와 같은 짧고 비공식적인 텍스트에서 폭력적 언어를 탐지할 수 있는 시스템을 개발하는 것.
• 탐지된 폭력적 콘텐츠를 특정 개인 또는 집단을 향한 공격인지 여부에 따라 타겟팅된(타겟드) 또는 비타겟팅된(언타겟드)으로 분류하는 것.
• 타겟팅된 폭력적 언어에서 공격 대상의 유형(예: 인종, 성별, 종교 등)을 식별하는 것.
• 딥러닝, SVM, 랜덤 포레스트와 같은 다양한 기계학습 기법의 효과성을 평가하는 것. 이는 다중 분류 작업에 적용된다.
• 짧은 텍스트에서의 모호함, 비꼬임, 맥락 의존성과 같은 폭력적 언어 탐지 과제에 도전하는 것.

제안 방법

• 다단계 파이프라인을 활용: 먼저 폭력적 트윗을 식별하고, 그 다음 타겟팅 여부를 분류한 후, 마지막으로 공격 대상의 유형을 확인한다.
• 딥러닝 모델은 트윗 텍스트의 시퀀스 모델링과 표현 학습에 사용되어 맥락적 및 의미적 특징을 포착한다.
• 고차원적이고 희소한 특징 공간에서 효과적인 성능을 보이는 선형 서포트 벡터 머신(SVM)은 이진 및 다중 분류 작업에 적용된다.
• 과적합에 강건하고 비선형 패턴을 다룰 수 있는 능력 덕분에 랜덤 포레스트가 사용된다.
• 특징 공학에는 n-그램, 품사 태깅, 어휘적 특징 등이 포함되어 모델 성능 향상에 기여한다.
• 모델는 SemEval-2019 Task 6 데이터셋을 사용해 훈련 및 평가되며, F1 점수 및 매크로 평균 F1과 같은 표준 지표가 사용된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 짧은 소셜 미디어 텍스트에서 폭력적 언어 탐지에 얼마나 효과적인가?
• RQ2 랜덤 포레스트와 SVM과 같은 앙상블 기법은 기준 모델 대비 분류 성능을 향상시킬 수 있는가?
• RQ3 폭력적 콘텐츠를 타겟팅 또는 비타겟팅으로 분류하는 정확도는 어떠한가?
• RQ4 모델은 폭력적 트윗에서 공격 대상의 구체적 유형을 식별하는 데 얼마나 잘 성과를 내는가?
• RQ5 폭력적 언어 모델링의 주요 과제는 무엇이며, 다양한 아키텍처는 이를 어떻게 해결하는가?

주요 결과

• 딥러닝과 전통적인 기계학습 모델의 조합이 폭력적 언어 탐지 작업에서 뛰어난 성능을 발휘했다.
• 선형 SVM와 랜덤 포레스트는 특히 타겟팅 대비 비타겟팅 분류 단계에서 경쟁적인 성능을 보였다.
• 다단계 접근 방식은 각 분류 수준에서 집중적인 모델링을 가능하게 하여 총합 F1 점수를 향상시켰다.
• 맥락 기반 모델링을 통해 비꼬임이나 간접적인 공격 유형과 같은 미묘한 폭력적 언어를 효과적으로 포착했다.
• 특징 공학이 특히 공격 대상의 유형 식별에 있어 모델 성능 향상에 크게 기여했다.
• 이 작업을 통해 맥락과 언어적 신호가 정확한 폭력적 언어 분류에 핵심적인 역할을 한다는 점이 드러났다.