[논문 리뷰] Cross-lingual Zero- and Few-shot Hate Speech Detection Utilising Frozen Transformer Language Models and AXEL

Lukas Stappen, Fabian Brunn외 1명|arXiv (Cornell University)|2020. 04. 13.

Hate Speech and Cyberbullying Detection참고 문헌 49인용 수 52

한 줄 요약

본 논문은 HatEval의 영어 및 스페인어 데이터에서 단일- 및 크로스링글링어 제로/소샷 혐오발언 탐지를 다루기 위해 새로운 AXEL 주의 기반 분류 블록을 갖춘 동결(transformer) 특징 추출 방식을 제안하며, 학습 가능한 매개변수가 훨씬 적은 상태에서 경쟁력 있는 성과를 달성한다.

ABSTRACT

Detecting hate speech, especially in low-resource languages, is a non-trivial challenge. To tackle this, we developed a tailored architecture based on frozen, pre-trained Transformers to examine cross-lingual zero-shot and few-shot learning, in addition to uni-lingual learning, on the HatEval challenge data set. With our novel attention-based classification block AXEL, we demonstrate highly competitive results on the English and Spanish subsets. We also re-sample the English subset, enabling additional, meaningful comparisons in the future.

연구 동기 및 목표

• 저자원 언어에서 동결된 Transformer 특징을 활용한 크로스링구얼 혐오발언 탐지의 필요성 제시.
• 영어 및 스페인어 HatEval 데이터에서 단일언어 및 크로스링구얼(제로-/소수-shot) 학습 평가.
• 동결된 Transformer 특징에서 정보를 최대한 끌어내기 위한 경량 분류 블록(AXEL) 개발 및 평가.
• 도메인 외 샘플링을 완화하고 일반화를 더 잘 평가하기 위한 영어 데이터 분할 분할 제안.

제안 방법

• 미세조정(fine-tuning) 대신 동결된 Transformer 언어 모델(BERT base multilingual 및 XLM)을 특징 추출기로 사용한다.
• 선택된 층에서 표현을 추출하고 학습 가능한 분류 블록에 입력한다.
• AXEL 도입, 비전 모듈에서 영감을 받은 주의(attention) 기반 블록으로 연속 텍스트 특징을 분류 이전에 압축하고 강화한다.
• RCAB, CBAM, CSAR, RAM 등을 포함한 여러 분류 블록을 비교하고 AXEL의 우수한 성능을 입증한다.
• 한 언어로 학습하고 다른 언어로 테스트하는 방식과 대상 언어 데이터를 소량 주입하는 방식으로 제로샷 및 소샷 크로스링구얼 전이 평가한다.

실험 결과

연구 질문

• RQ1 동결된 Transformer 특징이 미세조정 모델과 비교해 단일언어 혐오발언 탐지에서 얼마나 효과적인가?
• RQ2 동결된 Transformer 표현을 활용한 혐오발언 탐지에서 AXEL이 분류 성능을 향상시킬 수 있는가?
• RQ3 영어 및 스페인어 HatEval 데이터에서 크로스링구얼 제로샷 및 소샷 학습의 영향은 무엇인가?
• RQ4 계층화된 영어 데이터 분할이 도메인 외 샘플링 효과를 감소시키고 일반화를 향상시키는가?
• RQ5 크로스링구얼 표현(XLM 기반)과 BERT 기반 특징이 크로스-언어 혐오발언 탐지에서 어떻게 비교되는가?

주요 결과

• AXEL과 함께하는 동결된 Transformer 특징은 미세조정 모델보다 훨씬 적은 학습 가능 매개변수로도 경쟁력 있는 혐오발언 탐지 성과를 달성한다.
• AXEL은 다른 적응 블록을 상당히 능가하며, EN-S가 71.16 F1, ES가 69.70 F1을 Table 4 결과에서 달성했다.
• 크로스링구얼 제로샷 성능은 일반적으로 단일언어보다 약하지만, AXEL은 대부분의 설정에서 XLM 기반 옵션 중 최상이며; 제로샷은 번역 보강 평가에서 향상될 수 있다.
• 소샷 학습은 상당한 이득을 보여주며, 대상언어 데이터의 1%만 추가해도 F1이 크게 향상되고 일부 설정에서 단일언어 성능을 능가하기도 한다(예: EN-S).
• 새로운 영어 데이터 분할(EN-S)은 도메인 외 샘플링 효과를 줄이고 EN 및 ES 하위집합 간에 더 균형 잡힌 유사한 성능을 제공합니다.
• XLM 기반 모델은 간단한 Dense/AXEL 분류기를 사용할 때 제로샷 설정에서 강력하며, BERT 기반의 순차 인코더는 전체 시퀀스 인코딩에서 더 큰 이점을 얻는다.