[논문 리뷰] AlexU-AIC at Arabic Hate Speech 2022: Contrast to Classify

Ahmad Shapiro, Ayman Khalafallah외 1명|arXiv (Cornell University)|2022. 07. 18.

Hate Speech and Cyberbullying Detection인용 수 9

한 줄 요약

이 논문은 OSACT5 2022 공동 과제에서 제공한 소규모이고 불균형한 데이터셋을 바탕으로 아랍어 혐오 발언 탐지 성능을 향상시키기 위해 대비 학습과 다중 작업 학습 접근법을 제안한다. 대비 사전 훈련, 다중 작업 미세 조정, 모델 앙상블을 결합한 방법은 각각 Sub-task A, Sub-task B, Sub-task C에서 매크로 F1 점수 0.841, 0.817, 0.476를 기록하며 기준 모델을 크게 능가한다.

ABSTRACT

Online presence on social media platforms such as Facebook and Twitter has become a daily habit for internet users. Despite the vast amount of services the platforms offer for their users, users suffer from cyber-bullying, which further leads to mental abuse and may escalate to cause physical harm to individuals or targeted groups. In this paper, we present our submission to the Arabic Hate Speech 2022 Shared Task Workshop (OSACT5 2022) using the associated Arabic Twitter dataset. The shared task consists of 3 sub-tasks, sub-task A focuses on detecting whether the tweet is offensive or not. Then, For offensive Tweets, sub-task B focuses on detecting whether the tweet is hate speech or not. Finally, For hate speech Tweets, sub-task C focuses on detecting the fine-grained type of hate speech among six different classes. Transformer models proved their efficiency in classification tasks, but with the problem of over-fitting when fine-tuned on a small or an imbalanced dataset. We overcome this limitation by investigating multiple training paradigms such as Contrastive learning and Multi-task learning along with Classification fine-tuning and an ensemble of our top 5 performers. Our proposed solution achieved 0.841, 0.817, and 0.476 macro F1-average in sub-tasks A, B, and C respectively.

연구 동기 및 목표

• 소셜 미디어, 특히 트위터에서 아랍어로 된 공격적 언어 및 혐오 발언을 탐지하는 데 도전하는 것, 특히 데이터셋이 소규모이고 불균형한 상황에서의 과제를 해결하기 위함이다.
• 제한된 아랍어 데이터셋에 대해 트랜스포머 모델을 미세 조정할 경우 발생하는 과적합 문제를 해결하기 위해 대비 학습 및 다중 작업 학습 패러다임을 탐색하는 것.
• 공격적 언어 탐지, 혐오 발언 식별, 세분화된 혐오 발언 유형 분류의 세 단계 하위 과제에서의 분류 성능 향상.
• 공동 과제의 다양한 하위 과제에서 대비 학습, 다중 작업 학습, 앙상블 방법의 효과성을 비교하는 것.

제안 방법

• 저자들은 제한된 레이블이 부여된 데이터에서 표현 학습을 향상시키기 위해 아랍어를 위한 사전 훈련된 트랜스포머 모델인 AraBERT를 대비 학습을 통해 미세 조정한다.
• Sub-task A(공격적 언어 탐지)와 Sub-task B(혐오 발언 탐지)를 함께 훈련하여 공유 표현을 통해 일반화 능력을 향상시키기 위해 다중 작업 학습을 적용한다.
• Sub-task C(세분화된 혐오 발언 분류)의 경우, 혐오 발언 트윗의 부분집합에 대해 별도의 다중 작업 모델을 훈련하여 공유 인코더 특징을 활용한다.
• Sub-task A의 성능 향상을 위해 상위 다섯 모델의 앙상블을 사용하며, Sub-tasks B와 C에는 전용 다중 작업 모델을 사용한다.
• 대비 학습 목표는 임베딩 공간에서 유사한 트윗 표현은 가까이, 비유사한 표현은 멀리 떨어지도록 만드는 대비 손실 함수를 사용하여 구현된다.
• 저자들은 아랍어 트위터에서 확보한 8.8k개의 레이블이 부여된 트윗 데이터셋을 사용하여 모델을 훈련하였으며, 데이터 부족 문제를 완화하기 위해 철저한 데이터 분할 및 클래스 균형 전략을 적용하였다.

실험 결과

연구 질문

• RQ1 소규모이고 불균형한 데이터셋에서 아랍어 공격적 언어 및 혐오 발언 탐지에 대해 대비 학습이 표현 학습을 향상시키는가?
• RQ2 관련된 하위 과제(공격적 언어 및 혐오 발언 탐지) 간의 다중 작업 학습이 단일 작업 미세 조정보다 성능을 향상시키는가?
• RQ3 저자원 아랍어 NLP 환경에서 앙상블 방법은 개별 모델 성능과 비교해 어떻게 작용하는가?
• RQ4 세 하위 과제 전반에서 F1 점수 향상에 기여하는 대비 사전 훈련과 종단 간 미세 조정 간 상대적 기여는 무엇인가?
• RQ5 세분화된 혐오 발언 유형의 공동 학습이 최종 혐오 발언 탐지 과제의 전체 분류 성능 향상에 기여하는가?

주요 결과

• 상위 다섯 모델의 앙상블은 Sub-task A(공격적 언어 탐지)에서 매크로 F1 점수 0.841을 기록하였으며, 기준 모델의 0.394보다 뚜렷이 높았다.
• 다중 작업 학습 모델은 Sub-task B(혐오 발언 탐지)에서 매크로 F1 점수 0.817을 기록하였으며, 기준 모델의 0.472를 뛰어넘었다.
• Sub-task C(세분화된 혐오 발언 분류)에서는 다중 작업 학습 모델이 매크로 F1 점수 0.476를 기록하였으며, 기준 모델의 0.135보다 크게 향상되었다.
• 대비 학습과 다중 작업 학습이 소규모이고 불균형한 아랍어 데이터셋에서 과적합을 완화하는 데 효과적이었다.
• 제거 분석 결과, 대비 사전 훈련과 다중 작업 미세 조정을 결합한 것이 모든 하위 과제에서 최고의 성능을 기록하였다.
• 앙상블 방법은 Sub-task A에서 가장 효과적이었고, 다중 작업 학습은 Sub-tasks B와 C에서 최적의 성능을 보였으며, 이는 다양한 훈련 전략이 과제에 따라 유의미한 이점을 제공한다는 것을 시사한다.