[논문 리뷰] Detecting Anti-Semitic Hate Speech using Transformer-based Large Language Models

Dengyi Liu, Minghao Wang외 1명|arXiv (Cornell University)|2024. 05. 06.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 LoRA 적응을 사용한 미세조정된 BERT, RoBERTa, LLaMA-2 모델을 활용한 트랜스포머 기반 접근 방식을 제안하여 반유대주의 혐오 발언을 탐지한다. 트랜스포머 모델, 특히 BERT와 RoBERTa가 정밀도, 재현율, F1 점수에서 전통적인 기계학습 방법보다 뚜렷이 뛰어나며, LoRA 미세조정이 미묘한 혐오 발언 패tern 탐지 민감도를 더욱 향상시킨다.

ABSTRACT

Academic researchers and social media entities grappling with the identification of hate speech face significant challenges, primarily due to the vast scale of data and the dynamic nature of hate speech. Given the ethical and practical limitations of large predictive models like ChatGPT in directly addressing such sensitive issues, our research has explored alternative advanced transformer-based and generative AI technologies since 2019. Specifically, we developed a new data labeling technique and established a proof of concept targeting anti-Semitic hate speech, utilizing a variety of transformer models such as BERT (arXiv:1810.04805), DistillBERT (arXiv:1910.01108), RoBERTa (arXiv:1907.11692), and LLaMA-2 (arXiv:2307.09288), complemented by the LoRA fine-tuning approach (arXiv:2106.09685). This paper delineates and evaluates the comparative efficacy of these cutting-edge methods in tackling the intricacies of hate speech detection, highlighting the need for responsible and carefully managed AI applications within sensitive contexts.

연구 동기 및 목표

• 트위터와 같은 소셜 미디어 플랫폼에서 언어적 뉘앙스와 맥락으로 인해 전통적인 탐지 방법이 종종 실패하는 반유대주의 혐오 발언의 증가하는 도전에 대응하기 위해.
• 반유대주의 콘텐츠의 민주적이고 공감대 기반의 애너테이션을 가능하게 하는 새로운 데이터 레이블링 기법을 개발하여 데이터셋의 품질과 신뢰성을 향상시키기 위해.
• 전통적인 기계학습 모델(예: SVM, 나이브 베이즈, 랜덤 포레스트)과 최신 트랜스포머 기반 모델(예: BERT, RoBERTa, LLaMA-2) 간의 반유대주의 혐오 발언 탐지 성능을 비교 평가하기 위해.
• RoBERTa와 LLaMA-2 (7B)와 같은 대규모 언어 모델에 대한 LoRA 미세조정의 영향을 조사하여, 특히 재현율과 F1 점수 향상 측면에서 탐지 성능 향상 여부를 분석하기 위해.
• 의사결정 가능하고 고정확도를 갖춘 NLP 모델을 활용한 자동 콘텐츠 모니터링을 발전시켜 더 안전한 온라인 커뮤니케이션에 기여하기 위해.

제안 방법

• 반유대주의 콘텐츠의 고품질, 맥락 인식 기반 애너테이션을 보장하기 위해 민주적 공감대 기반의 맞춤형 데이터 레이블링 알고리즘을 적용하여 트위터에서 콘텐츠를 애너테이션했다.
• 전통적인 기계학습 모델을 위해 CountVectorizer, TfidfVectorizer, HashingVectorizer 등의 다수의 임bedding 기법을 사용하였고, 딥러닝 모델을 위해 BERT, DistilBERT, RoBERTa, LLaMA-2의 맥락 기반 임베딩을 활용하였다.
• 추출된 특징을 사용하여 k-NN, 로지스틱 회귀, SVM, 랜덤 포레스트, 나이브 베이즈 등의 전통적 분류기들을 기반 모델에 적용하였다.
• LoRA(저랭크 적응)라는 파rameter 효율적인 미세조정 방법을 사용하여 RoBERTa와 LLaMA-2 (7B)를 미세조정하였으며, 이는 사전 학습된 지식을 유지하면서도 혐오 발언 탐지에 적응하도록 한다.
• 모든 모델에 대해 애너테이션된 데이터셋에서 표준 NLP 메트릭인 정확도, 정밀도, 재현율, F1 점수를 사용하여 모델 성능을 평가하였다.
• 맥락 이해력과 어텐션 메커니즘의 영향을 탐지 성능에 미치는 영향를 평가하기 위해 전통적 모델과 트랜스포머 기반 모델의 성능을 비교하였다.

Figure 1: This figure shows the workflow of voting algorithm.

실험 결과

연구 질문

• RQ1 BERT, RoBERTa, LLaMA-2와 같은 트랜스포머 기반 모델은 전통적인 기계학습 모델에 비해 반유대주의 혐오 발언 탐지에서 어떻게 비교되는가?
• RQ2 LoRA 미세조정은 RoBERTa와 LLaMA-2 (7B)와 같은 대규모 언어 모델의 성능을 얼마나 향상시키는가? 특히 미묘하거나 맥락에 따라 숨겨진 반유대주의 혐오 발언 탐지에 있어.
• RQ3 TF-IDF, 워드 임베딩, 맥락 기반 임베딩 등의 임베딩 기법 선택이 혐오 발언 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ4 모델 아키텍처와 계산 효율성은 반유대주의 혐오 발언 탐지에 어떤 영향을 미치는가? 특히 재현율과 F1 점수 측면에서.
• RQ5 공감대 기반 데이터 레이블링 접근 방식은 고정확도의 혐오 발언 탐지 시스템을 훈련하기 위한 신뢰성 있고 대표적인 데이터셋을 생성할 수 있는가?

주요 결과

• BERT는 평가된 모든 모델 중에서 가장 높은 정확도와 F1 점수를 기록하였으며, 깊은 맥락 이해력 덕분에 반유대주의 혐오 발언 탐지에서 뛰어난 성능을 보였다.
• LoRA 미세조정을 거친 RoBERTa와 LLaMA-2 (7B)는 재현율과 F1 점수에서 뚜렷한 향상을 보였으며, 이는 미묘하거나 맥락에 따라 숨겨진 혐오 발언에 대한 민감도 향상됨을 시사한다.
• k-NN와 같은 전통적 모델은 모든 메트릭에서 가장 열악한 성능을 보였으며, 혐오 발언 탐지에서 흔히 발생하는 고차원적이고 희박한 텍스트 데이터를 다루는 데에 한계가 있음을 보여준다.
• SVM과 로지스틱 회귀는 합리적인 기준선 성능을 보였지만, 특히 재현율 측면에서 트랜스포머 모델에 비해 일관되게 열등했으며, 많은 관련 사례를 탐지하지 못함을 시사한다.
• 맥락 기반 임베딩(예: RoBERTa에서 유래)과 LoRA 미세조정의 조합은 LLaMA-2 (7B)의 F1 점수를 10~15% 향상시켰으며, 이는 파rameter 효율적인 미세조정이 모델 적응 능력을 향상시킨다는 것을 시사한다.
• 이 연구는 트랜스포머 기반 모델이 전통적인 기계학습 모델보다 반유대주의 혐오 발언의 언어적 복잡성과 맥락을 더 효과적으로 포착할 수 있음을 확인한다.

Figure 2: Architecture of LoRA fine-tuning applied to Llama2 model weights, demonstrating how the injection of trainable low-rank matrices A and B (initialized as A with a normal distribution and B set to zero) allows for efficient adaptation of the model’s weights to new tasks, preserving the origi