[논문 리뷰] Meta AI at Arabic Hate Speech 2022: MultiTask Learning with Self-Correction for Hate Speech Classification

Badr AlKhamissi, Mona Diab|arXiv (Cornell University)|2022. 05. 16.

Hate Speech and Cyberbullying Detection인용 수 9

한 줄 요약

이 논문은 세 가지 하위작업인 공격적 언어 탐지, 혐오 발언 식별, 미세 분류 카테고리 분류를 수행하는 데에 맞춰 미세 튜닝된 MARBERT 모델을 활용한 자기일致성 보정 기반 다중작업 학습(MTL) 프레임워크를 제안한다. 이 방법은 혐오 발언 하위작업에서 F1 점수 82.7%를 기록하여 이전 연구 대비 3.4% 상대적 향상을 달성한다.

ABSTRACT

In this paper, we tackle the Arabic Fine-Grained Hate Speech Detection shared task and demonstrate significant improvements over reported baselines for its three subtasks. The tasks are to predict if a tweet contains (1) Offensive language; and whether it is considered (2) Hate Speech or not and if so, then predict the (3) Fine-Grained Hate Speech label from one of six categories. Our final solution is an ensemble of models that employs multitask learning and a self-consistency correction method yielding 82.7% on the hate speech subtask -- reflecting a 3.4% relative improvement compared to previous work.

연구 동기 및 목표

• 온라인 존재감은 증가하고 있으나 고품질의 애너테이션된 데이터셋이 제한적인 아랍어에서의 저자원 혐오 발언 탐지 문제를 해결한다.
• 공격적 언어 탐지, 혐오 발언 식별, 미세 분류 카테고리 분류의 세 하위작업으로 작업을 분해하여 혐오 발언 분류의 신뢰성과 세분성 향상을 도모한다.
• 이진 혐오 발언 레이블링의 주관성 문제를 해결하기 위해 공통된 표현을 공유하는 다중레이블, 다중작업 프레임워크를 사용한다.
• 다중작업 학습과 새로운 자기일치성 보정 기반 최종 예측 정밀화 기법을 통해 모델의 강건성과 일반화 능력을 향상시킨다.
• 아랍어 미세 분류 혐오 발언 탐지에 대한 새로운 벤치마크 데이터셋에서 공동 학습과 후처리 보정 기법의 효과성을 입증한다.

제안 방법

• 세 하위작업인 공격적 언어 탐지, 혐오 발언 분류, 미세 분류 카테고리 예측을 위한 공통 데이터셋에서 MARBERT 모델을 미세 튜닝한다.
• 동일한 공유 인코더(MARBERT)가 입력 트윗을 처리하고, 작업별 특화 분류기로 표현을 전달하는 다중작업 학습(MTL)을 사용한 모델 앙상블을 훈련한다.
• 추론 후 자기일치성 보정 방법을 적용하여, 데이터 증강을 적용한 다중 전방 계산을 통해 최종 예측을 투표함으로써 신뢰도와 정확도를 향상시킨다.
• 검증 F1 점수 기반 조기 정지 및 모델 선택을 통해 각 하위작업을 별도로 최적화한 후 앙상블 평균을 수행한다.
• 자기일치성 단계에서 추론 중 데이터 증강과 드롭아웃을 사용하여 다양한 예측을 생성하고 예측 분산을 줄인다.
• MTL과 자기보정의 성능에 미치는 영향을 평가하기 위해 아블레이션 스터디를 수행하여 각 기법의 기여도를 분리 분석한다.

실험 결과

연구 질문

• RQ1 공통된 표현을 공유하는 관련 하위작업 간의 다중작업 학습이 아랍어 미세 분류 혐오 발언 탐지 성능 향상에 기여하는가?
• RQ2 자기일치성 보정 기법이 혐오 발언 분류 예측을 정밀화하고 불확실성을 줄이는 데 얼마나 효과적인가?
• RQ3 MTL과 자기보정이 혐오 발언 하위작업의 F1 점수 향상에 기여하는 상대적 기여도는 각각 얼마인가?
• RQ4 공격적 언어 탐지, 혐오 발언 식별, 미세 분류 카테고리 분류의 공동 학습이 단일작업 기반 베이스라인 대비 더 나은 일반화 성능을 보이는가?
• RQ5 제안된 방법이 아랍어 미세 분류 혐오 발언 탐지 공동 과제에서 기존 최고 수준의 모델을 얼마나 뛰어넘는가?

주요 결과

• 제안된 다중작업 학습 모델은 혐오 발언 하위작업에서 F1 점수 82.7%를 기록하여 이전 최고 성능 대비 3.4% 상대적 향상을 달성한다.
• 자기일치성 보정 기법은 다중 전방 계산을 통한 앙상블 투표를 통해 예측을 정밀화함으로써 미세 분류 혐오 발언 분류 성능을 향상시킨다.
• 아블레이션 스터디 결과, 세 하위작업을 공동으로 학습함으로써 단일작업 기반 베이스라인 대비 모델 일반화 능력 향상과 과적합 감소가 뚜렷하게 확인된다.
• MTL 모델 앙상블에 자기일치성 보정을 적용한 결과, 모든 하위작업의 모든 평가 지표에서 보고된 모든 베이스라인을 초월한다.
• MTL는 더 나은 데이터 효율성과 더 빠른 수렴을 이끌어내며, 공유 표현 덕분에 모델이 더 강건하고 이식 가능한 특징을 학습하는 데 기여한다.
• 저자원 아랍어 NLP 환경에서도 높은 강건성을 보이며, MTL과 자기일치성 보정이 미세 분류 혐오 발언 탐지에서 데이터 부족 문제를 완화시킬 수 있음을 입증한다.