[논문 리뷰] Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection

Wenliang Dai, Tiezheng Yu외 2명|arXiv (Cornell University)|2020. 04. 28.

Hate Speech and Cyberbullying Detection참고 문헌 31인용 수 6

한 줄 요약

이 논문은 소셜 미디어에서 폭력적 언어 탐지에 대해 BERT 기반의 다중 작업 학습 모델을 제안하며, 세 가지 계층적 하위 작업(폭력적 언어 탐지(A), 분류(B), 대상 식별(C))을 함께 학습한다. 이 방법은 오직 OLID 데이터셋만을 사용하여 SemEval-2020 Task 12 Sub-task A에서 매크로-F1 점수 91.51%를 기록했으며, 총 85개의 제출 중 7위를 차지하여, 공유 BERT 표현을 사용한 다중 작업 학습이 단일 작업 미세조정보다 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

Nowadays, offensive content in social media has become a serious problem, and automatically detecting offensive language is an essential task. In this paper, we build an offensive language detection system, which combines multi-task learning with BERT-based models. Using a pre-trained language model such as BERT, we can effectively learn the representations for noisy text in social media. Besides, to boost the performance of offensive language detection, we leverage the supervision signals from other related tasks. In the OffensEval-2020 competition, our model achieves 91.51% F1 score in English Sub-task A, which is comparable to the first place (92.23%F1). An empirical analysis is provided to explain the effectiveness of our approaches.

연구 동기 및 목표

• 관련 하위 작업을 활용한 다중 작업 학습을 통해 소셜 미디어에서의 폭력적 언어 탐지 성능을 향상시키기 위해.
• BERT에서 유도된 공유 표현과 하위 작업 간의 공동 최적화가 탐지 성능을 향상시키는지 조사하기 위해.
• 대규모 노이즈 있는 데이터(SOLID)에서의 사전 훈련과 소규모 고품질 데이터셋(OLID)에서의 미세조정 간 효과성을 평가하기 위해.
• 관련 작업(예: 대상 식별)의 감독이 주요 작업인 폭력적 언어 탐지 성능을 향상시키는지 확인하기 위해.
• 다양한 손실 가중치와 모델 앙상블 전략이 매크로-F1 성능에 미치는 영향을 분석하기 위해.

제안 방법

• OLID 데이터셋에서 사전 훈련된 BERT 모델을 세 가지 계층적 하위 작업(폭력적 분류(A), 분류(B), 대상 식별(C))에 대해 미세조정한다.
• 모든 세 하위 작업에 공유되는 BERT 인코더를 사용하고 각 작업에 대해 별도의 분류 헤드를 구현함으로써 다중 작업 학습을 구현한다.
• 하위 작업 A, B, C에 대한 교차 엔트로피 손실의 가중 조합을 사용하여 모델을 최적화하며, 손실 가중치는 각각 0.4, 0.3, 0.3로 설정한다.
• 과적합을 방지하기 위해 최대 20 에포크 동안 조기 정지와 학습률 스케줄링(초기값 3e-6, 배치 크기 32)을 적용한다.
• 일반화성과 강건성을 향상시키기 위해 다섯 개의 독립적으로 초기화된 MTL 모델의 다수결 투표를 적용한다.
• OLID에서의 교차 검증을 통해 유도된 임계값 0.3을 사용하여 SOLID의 AVG_CONF 점수를 이진 레이블로 변환한다.

실험 결과

연구 질문

• RQ1 폭력적 언어 탐지, 분류, 대상 식별 간의 공동 학습이 주요 탐지 작업의 성능을 향상시키는가?
• RQ2 대규모 노이즈 있는 데이터(SOLID)에서 신뢰도 점수에 대한 회귀 손실을 사용한 사전 훈련이 OLID에서의 후행 성능을 향상시키는가?
• RQ3 공유 BERT 표현을 사용한 다중 작업 학습이 매크로-F1 점수 측면에서 단일 작업 미세조정보다 어떻게 비교되는가?
• RQ4 모델 앙상블과 하이퍼파rameter 튜닝이 탐지 성능에 어떤 영향을 미치는가?
• RQ5 대규모 데이터임에도 불구하고 SOLID에서의 사전 훈련이 성능 향상에 기여하지 않는 이유는 무엇인가?

주요 결과

• 다중 작업 학습 모델은 SemEval-2020 Task 12 Sub-task A 공식 테스트 세트에서 매크로-F1 점수 91.51%를 기록하여 총 85개 제출 중 7위를 차지했다.
• 다양한 무작위 초기화를 가진 다섯 개의 MTL 모델 앙상블이 가장 높은 성능을 기록하여, 다양성에 기반한 일반화 향상이 이루어졌음을 시사한다.
• 신뢰도 점수에 대한 평균 제곱오차 손실을 사용해 SOLID에서의 사전 훈련은 성능 향상에 기여하지 않았고, 오히려 약간의 성능 저하를 초래했으며, 이는 데이터 노이즈 탓일 가능성이 높다.
• BERT 기반의 다중 작업 모델은 OLID에서의 단일 작업 BERT 미세조정보다 뛰어나며, 매크로-F1 점수에서 1.38%p의 절대적 향상(82.03%에서 83.41%로)을 기록했다.
• SOLID에서의 성능가 OLID와 유사하여, 데이터 품질이 다를지라도 모델이 다양한 데이터셋에 대해 강건함을 보였다.
• 결과는 내부 작업 관계(예: B가 NULL이면 A는 NOT이어야 함)가 다중 작업 학습에 의해 효과적으로 포착되어 예측의 확신도를 향상시킨다는 것을 확인한다.