[논문 리뷰] A Federated Approach for Hate Speech Detection

Jay Gala, Deep Gandhi외 2명|arXiv (Cornell University)|2023. 02. 18.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 원자료를 전송하지 않고 분산된 사용자 데이터에서 모델을 훈련시어 개인정보를 보호하는 연합 학습(FL) 프레임워크를 제안한다. 이는 중심화된 모델 대비 F1-스코어에서 최대 6.81% 향상된 성능을 달성한다. 이 방법은 FedProx와 FedOpt를 사용하여 여덟 개의 벤치마크 데이터셋에서 다섯 가지 다양한 아키텍처를 적용해, 개인정보 보호 훈련이 동시에 모델의 강건성과 성능을 향상시킬 수 있음을 입증한다.

ABSTRACT

Hate speech detection has been the subject of high research attention, due to the scale of content created on social media. In spite of the attention and the sensitive nature of the task, privacy preservation in hate speech detection has remained under-studied. The majority of research has focused on centralised machine learning infrastructures which risk leaking data. In this paper, we show that using federated machine learning can help address privacy the concerns that are inherent to hate speech detection while obtaining up to 6.81% improvement in terms of F1-score.

연구 동기 및 목표

• 중심화된 훈련이 민감한 사용자 콘텐츠를 폭 lộ할 수 있는 위험 때문에, 혐오 발언 탐지 분야에서 개인정보 보호의 심각한 격차를 해소하기 위해.
• 연합 학습이 사용자 데이터 泄露 위험을 줄이며 성능을 유지하거나 향상시킬 수 있는지 평가하기 위해.
• 다양한 아키텍처(예: Bi-LSTM, RoBERTa, FNet)를 사용한 FL의 효과성을 여러 혐오 발언 탐지 벤치마크에서 조사하기 위해.
• HateCheck 평가 세트를 사용해 철자 오류, 대명사 참조, 악성 어조 등 도전적인 조건에서의 모델 일반화 능력을 평가하기 위해.
• 개인정보 보호와 성능 간의 상호 교환 관계를 탐색하여, FL이 성능 손실이 아니라 향상으로 이어질 수 있음을 보여주기 위해.

제안 방법

• 연구는 원자료를 전송하지 않고 클라이언트 기기에서 모델을 훈련시키기 위해 연합 학습(FL)을 사용한다. 대신 모델 가중치 업데이트만 공유한다.
• 비IIDs 데이터와 수렴성 향상을 위해 두 가지 FL 최적화 알고리즘인 FedProx와 FedOpt를 사용한다. FedProx는 훈련 안정화를 위해 보조 정규화 항을 추가한다.
• 다섯 가지 기계 학습 모델(Bi-LSTM, FNet, DistilBERT, RoBERTa 및 기타)을 FL을 사용해 훈련시키고, 중심화된 대안과 비교한다.
• 비IIDs 클라이언트 데이터 분할 조건 하에 여덟 개의 공개된 혐오 발언 데이터셋(예: Vidgen 등, 2021년의 Comb, Binary, 다중 클래스 데이터셋 포함)에서 프레임워크를 평가한다.
• 성능 평가에는 F1-스코어를 사용하며, 29개의 기능 테스트(비하 표현, 철자 오류, 반대 발언 인식 포함)를 수행하는 HateCheck 벤치마크를 활용한다.
• 모든 모델은 FedProx와 FedOpt를 사용해 FL로 미세조정되며, 수렴성과 안정성을 평가하기 위해 다수의 라운드에 걸쳐 결과를 집계한다.

실험 결과

연구 질문

• RQ1 연합 학습은 개인정보 보호를 유지하면서도 혐오 발언 탐지 모델의 F1-스코어를 향상시킬 수 있는가?
• RQ2 HateCheck와 같은 강건성 벤치마크에서, 특히 언어적 악성 변형이 있는 상황에서 FL 기반 모델은 어떻게 성능을 보이는가?
• RQ3 FedOpt 및 FedProx와 같은 고급 FL 최적화기 사용이 기존 FedAvg에 비해 더 나은 수렴성과 성능을 이끌어내는가?
• RQ4 Bi-LSTM과 같은 BERT 기반 아키텍처와 비교해, FL로 훈련된 다양한 모델 아키텍처는 성능과 강건성에서 어떻게 다른가?
• RQ5 FL 모델은 비혐오 표현, 반대 발언, 암시적 혐오 표현 형태 등으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 연합 학습 모델은 중심화된 모델 대비 최대 6.81% 향상된 F1-스코어를 달성하여, 개인정보 보호 훈련이 성능 향상에도 기여할 수 있음을 입증한다.
• FL을 통해 훈련된 Bi-LSTM 및 FNet 모델은 HateCheck 기능 테스트에서 3–5% 향상된 성능 보이며, 특히 비하 표현과 철자 오류 탐지에서 뛰어난 성능을 보인다.
• RoBERTa 및 DistilBERT 모델은 슬러그 및 비혐오적 집단 정체성 탐지에서 가장 뛰어난 성능을 보이며, 이는 광범위한 텍스트에서 대규모 사전 훈련을 통해 기인한다.
• 모든 모델, 특히 연합 학습 모델도 반대 발언 탐지에서 성능이 열등하여, 혐오 반응과 혐오 발언을 구분하는 데 지속적인 과제가 있음을 시사한다.
• 연합 학습을 통해 훈련된 DistilBERT 및 RoBERTa 모델은 일부 HateCheck 테스트에서 약 0.5–1%의 성능 저하를 보이며, 이는 대규모 언어 모델이 FL 환경에서 데이터 분포 이탈에 더 민감할 수 있음을 시사한다.
• 모델 업데이트 泄露의 위험에도 불구하고, 전체 결과는 FL이 혐오 발언 탐지에서 개인정보 보호 향상과 더불어 더 나은 모델 일반화를 위한 실현 가능한 길임을 보여준다.