[논문 리뷰] MIPT-NSU-UTMN at SemEval-2021 Task 5: Ensembling Learning with Pre-trained Language Models for Toxic Spans Detection

Mikhail Kotyushev, Anna Glazkova외 1명|arXiv (Cornell University)|2021. 04. 10.

Hate Speech and Cyberbullying Detection참고 문헌 40인용 수 3

한 줄 요약

이 논문은 소셜 미디어 텍스트에서 독성 스파이크를 탐지하기 위해 이중 단계로 미세조정된 BERT 기반 모델을 사용하는 앙상블 접근법을 제시한다. 이 방법은 Jigsaw 데이터에서 도메인 특화 사전 훈련을 수행한 후 토큰 수준의 분류를 수행하며, 앙상블 전략을 통해 SemEval-2021 테스트 세트에서 F1 스코어를 67.55%로 향상시켜 평균보다 약 10% 높게 성과를 냈다.

ABSTRACT

This paper describes our system for SemEval-2021 Task 5 on Toxic Spans Detection. We developed ensemble models using BERT-based neural architectures and post-processing to combine tokens into spans. We evaluated several pre-trained language models using various ensemble techniques for toxic span identification and achieved sizable improvements over our baseline fine-tuned BERT models. Finally, our system obtained a F1-score of 67.55% on test data.

연구 동기 및 목표

• 전체 텍스트의 독성 탐지보다 더 세분화된 수준인 소셜 미디어 댓글에서 특정 독성 스파이크를 식별하는 도전 과제를 해결하기 위해.
• 사전 훈련된 언어 모델을 활용한 전이 학습을 통해 자원이 적은 스파이크 수준의 독성 언어 탐지 성능을 향상시키기 위해.
• 더 나은 일반화 및 강건성을 확보하기 위해 다단계 미세조정과 앙상블 학습의 효과성을 조사하기 위해.
• 공동 과제에서 데이터 희소성과 애매한 애너테이션 문제를 해결하기 위해 도메인 적응형 사전 훈련과 후처리 전략을 사용하기 위해.

제안 방법

• 독성 점수 ≥0.5인 샘플을 양성 샘플로 삼고, 음성 샘플 비율을 3:1로 설정하여 대규모 Jigsaw 데이터셋에서 BERT-base-uncased를 미세조정하여 도메인 일치를 향상시켰다.
• 스팸 수준의 독성 스파이크를 위한 토큰 수준의 이진 분류를 위해 SemEval-2021 훈련 및 검증 데이터를 기반으로 두 번째 미세조정 단계를 수행했다.
• 다양한 앙상블 전략을 적용: 하드 보팅(스파이크 교차 및 합집합), 가중 확률을 활용한 소프트 보팅, 검증 데이터 기반 메타-분류기 학습.
• 모델 훈련 및 추론을 위해 Hugging Face Transformers 라이브러리를 사용하였으며, 토큰 수준의 분류 헤드를 통해 각 토큰의 독성 여부를 예측했다.
• 토큰 오프셋 기반 규칙 기반 병합을 사용하여 모델 출력을 바탕으로 연속된 독성 토큰을 스파이크로 그룹화하는 후처리를 수행했다.
• 단일 검증 세트를 활용하여 최적의 모델 조합과 보팅 전략을 선택하기 위해 앙상블 성능를 최적화했다.

실험 결과

연구 질문

• RQ1 먼저 일반적인 독성 댓글 데이터셋에서, 그 다음에는 목표 스파이크 수준 과제에서 이중 단계로 미세조정하는 것이 독성 스파이크 탐지 성능을 향상시키는가?
• RQ2 하드 보팅, 소프트 보팅, 또는 메타-분류기 중 어느 앙상블 전략이 스파이크 수준의 독성 탐지에서 가장 높은 F1 스코어를 제공하는가?
• RQ3 Jigsaw 데이터에서 도메인 적응형 사전 훈련을 통해 모델이 미묘하거나 맥락에 의존하는 독성 스파이크 탐지 능력에 어떤 영향을 미치는가?
• RQ4 데이터셋 내 애너테이션의 애매함과 풍자적 표현이 모델의 일반화 능력과 성능에 어느 정도의 영향을 미치는가?
• RQ5 독성 스파이크가 애너테이션되지 않은 비독성 게시물에서 과도하게 예측하는 문제를 앙상블 방법이 어느 정도 완화할 수 있는가?

주요 결과

• 이중 단계 미세조정 접근법은 베이스라인 BERT 모델보다 성능 향상이著명했으며, 테스트 세트에서 최고 F1 스코어는 67.55%에 도달했다.
• 두 번째 훈련 단계에서 훈련 및 시험 세트를 통합한 데이터셋을 활용한 5겹 교차 검증에서 평균 F1 스코어는 0.6714를 기록했다.
• 스파이크 교차 앙상블 전략이 가장 뛰어난 성능을 보였으며, 합집합을 사용한 하드 보팅 및 소프트 보팅 방법보다 뛰어났다.
• 모든 91개 팀의 평균 F1 스코어 57.81%를 약 10%포인트 뛰어나 91개 팀 중 27위를 기록했다.
• 독성 스파이크 애너테이션이 없는 게시물에서는 모델이 흔히 풍자적 또는 맥락에 의존하는 독성 표현에서 잘못된 예측(가짜 양성)을 내놓는 경향이 있었다.
• 일부 테스트 예시는 일관성 없거나 너무 광범위하게 스파이크를 애너테이션한 경우가 있었으며, 이는 성능 제한 요인으로 작용했을 가능성이 있었다.