[논문 리뷰] UM-IU@LING at SemEval-2019 Task 6: Identifying Offensive Tweets Using BERT and SVMs

Jian Zhu, Zuoyu Tian외 1명|arXiv (Cornell University)|2019. 04. 06.

Hate Speech and Cyberbullying Detection참고 문헌 25인용 수 7

한 줄 요약

이 논문은 SemEval-2019 Task 6에서 공격적 트윗을 탐지하기 위한 하이브리드 접근법을 제시한다. 이는 양성 공격적 콘텐츠 탐지(서브태스크 A)에 대해 미세튜닝된 BERT를 사용하고, 폭력의 대상 분류(서브태스크 C)에 대해 문자 n-그램을 사용하는 선형 SVM를 적용한다. 시스템은 서브태스크 A에서 매크로 F1 스코어 0.8136(103개 중 3위)와 서브태스크 C에서 매크로 F1 스코어 0.5243(65개 중 27위)를 기록하여, 미묘한 의미적 뉘앙스를 포착하는 데 어려움을 겪고 소수의 대상 클래스에 대한 데이터 희소성 문제를 다루는 데에도 불구하고 뛰어난 성능을 보였다.

ABSTRACT

This paper describes the UM-IU@LING's system for the SemEval 2019 Task 6: OffensEval. We take a mixed approach to identify and categorize hate speech in social media. In subtask A, we fine-tuned a BERT based classifier to detect abusive content in tweets, achieving a macro F1 score of 0.8136 on the test data, thus reaching the 3rd rank out of 103 submissions. In subtasks B and C, we used a linear SVM with selected character n-gram features. For subtask C, our system could identify the target of abuse with a macro F1 score of 0.5243, ranking it 27th out of 65 submissions.

연구 동기 및 목표

• 소셜 미디어, 특히 트윗에서 혐오 발언을 포함한 공격적 언어를 탐지하기 위한 강력한 계산 기반 시스템을 개발하는 것.
• 미묘한 의미적 차이를 가지는 노이즈가 많고 맥락 의존적인 소셜 미디어 텍스트에서 공격적 콘텐츠를 탐지하는 과제를 해결하는 것.
• 특히 소수 클래스에 대한 데이터 희소성 문제로 어려움을 겪는 상황에서 공격적 언어의 대상(개인, 집단, 기타)을 더 잘 식별하는 것.
• 사전 학습된 언어 모델인 BERT와 전통적인 분류기인 SVM를 사용한 n-그램 특징이 공격적 언어 탐지 작업에서 효과적인지 평가하는 것.
• BERT가 맥락적 뉘앙스를 포착하는 데에 한계를 보이는 이유와 특징 공학의 영향이 자원이 적은 환경에서 SVM 성능에 미치는 영향을 조사하는 것.

제안 방법

• 서브태스크 A에서 이진 분류를 위해 BERT-base 모델을 미세튜닝하여 공격적 vs. 비공격적 트윗을 탐지하기 위해 전체 훈련 데이터를 사용한다.
• BERT가 데이터 부족과 하이퍼파라미터 민감성으로 인해 성능이 떨어지므로, 서브태스크 B와 C에서는 선형 SVM에 문자 n-그램 특징을 사용한다.
• SVM의 주요 특징으로 문자 n-그램을 선택하였으며, 성능 향상을 위해 언어학적, 이모티콘, 엔티티 특징을 추가로 실험하였다.
• 최적의 특징 구성 선택을 위해 시험 데이터를 활용해 하이퍼파라미터 튜닝과 모델 검증을 수행한 후 최종 제출을 진행하였다.
• 혼합 방법론을 사용하여 서브태스크 A에서는 맥락 민감한 표현을 위해 BERT를, 서브태스크 B와 C에서는 범주형 분류를 위해 표면 수준의 특징을 사용한 SVM를 적용하였다.
• 오류 분석을 통해 잘못 분류된 예시를 분석하여, 개인 대상과 집단 대상 간 구분 실패 및 모호한 엔티티 처리와 같은 실패 유형을 특정하였다.

실험 결과

연구 질문

• RQ1 미세튜닝된 BERT는 공격적 트윗을 탐지하는 데 효과적이며, 특히 비속어와 일반적인 부정적 감정을 구분하는 데 미묘한 맥락적 의미가 작용하는 경우에도 유의미한가?
• RQ2 왜 BERT는 서브태스크 A와 비교해 서브태스크 B와 C에서 성능이 열 劣하나, 데이터 희소성이나 하이퍼파라미터 민감성 등의 요인이 이에 기여하는가?
• RQ3 선형 SVM에 문자 n-그램을 사용할 경우, 공격적 언어의 대상(개인, 집단, 기타)을 분류하는 데 기준 모델을 능가할 수 있는가?
• RQ4 이모티콘, 언어학적 신호, 명시적 엔티티와 같은 추가 특징은 서브태스크 C에서 SVM의 성능에 어떤 영향을 미치는가?
• RQ5 다중 잠재 대상 또는 모호한 참조가 있는 경우, 특히 다수의 개인이 공격당하거나 '교회'(Church)와 같은 단어가 잘못 OTH 레이블을 유도하는 경우, 시스템의 주요 실패 유형은 무엇인가?

주요 결과

• BERT 기반 분류기는 서브태스크 A에서 매크로 F1 스코어 0.8136를 기록하여 103개의 제출 중 3위를 차지하며 공격적 콘텐츠 탐지에서 뛰어난 성능을 보였다.
• 문자 n-그램을 사용한 SVM는 서브태스크 C에서 매크로 F1 스코어 0.5243를 기록하여 65개의 제출 중 27위를 차지하며 기준 모델을 크게 능가했다.
• 시스템은 개인 대상(IND) 식별에 가장 잘 성과를 냈고, 집단 대상(GRP)에는 중간 수준의 효과를 보였으며, 소수 클래스인 기타(OTH)에는 가장 어려움을 겪어 데이터 희소성 문제를 드러냈다.
• 언어학적 및 이모티콘 특징을 추가로 넣어 문자 n-그램 모델의 매크로 F1과 정확도를 약간 향상시켰지만, 엔티티 특징을 포함시키면 성능이 저하되었다.
• 오류 분석 결과, 다수의 잠재 대상이 있는 트윗이나 모호한 참조가 있는 트윗을 자주 잘못 분류하는 경향을 보였으며, 예를 들어 여러 명의 개인이 공격당하거나 'Church'라는 단어가 잘못 OTH로 레이블링되는 경우가 많았다.
• 모델는 맥락 속 공격적 단어에 매우 민감했지만, 공격적 의도와 일반적인 부정적 감정을 구분하지 못했으며, 특히 문화적 또는 정치적으로 민감한 맥락에서는 더욱 그러했다.