[논문 리뷰] Why Is It Hate Speech? Masked Rationale Prediction for Explainable Hate Speech Detection

Jiyun Kim, Byounghan Lee외 1명|arXiv (Cornell University)|2022. 11. 01.

Hate Speech and Cyberbullying Detection인용 수 11

한 줄 요약

이 논문은 BERT가 주변 토큰과 노말라이제이션되지 않은 이유 설명 임베딩을 기반으로 마스킹된 인간이 주석한 이유 설명(의미가 맥락에 따라 달라지는 근거 문단)을 예측하도록 훈련시켜 혐오 발언 탐지 성능을 향상시키는 이중 단계 미세조정 방법인 마스킹된 이유 설명 예측(Masked Rationale Prediction, MRP)을 제안한다. 이 방법은 HateXplain 벤치마크에서 편향 완화, 해석 가능성, 탐지 정확도 측면에서 최고 성능을 기록하며, 특히 명시적 혐오 표현이 없는 암묵적 혐오 발언을 식별하는 데 뛰어난 성능을 보인다.

ABSTRACT

In a hate speech detection model, we should consider two critical aspects in addition to detection performance-bias and explainability. Hate speech cannot be identified based solely on the presence of specific words: the model should be able to reason like humans and be explainable. To improve the performance concerning the two aspects, we propose Masked Rationale Prediction (MRP) as an intermediate task. MRP is a task to predict the masked human rationales-snippets of a sentence that are grounds for human judgment-by referring to surrounding tokens combined with their unmasked rationales. As the model learns its reasoning ability based on rationales by MRP, it performs hate speech detection robustly in terms of bias and explainability. The proposed method generally achieves state-of-the-art performance in various metrics, demonstrating its effectiveness for hate speech detection.

연구 동기 및 목표

• 특정 공격적인 단어에 의존하는 경향이 있는 혐오 발언 탐지 모델의 편향과 해석 가능성 문제를 해결하기 위해.
• 공격적인 비속어가 명시적으로 존재하지 않지만 맥락에 따라 암묵적으로 혐오의 의미가 드러나는 경우에 대해 모델의 강건성을 향상시키기 위해.
• 맥락적 신호를 기반으로 마스킹된 이유 설명 세그먼트를 예측함으로써 인간과 유사한 추론 방식을 학습할 수 있는 훈련 프레임워크를 개발하기 위해.
• 모델이 생성한 이유 설명이 인간이 주석한 근거 문단과 더 밀접하게 일치하도록 해석 가능성을 향상시키기 위해.
• HateXplain 벤치마크에서 성능 기반, 편향 기반, 해석 가능성 기반 지표 전반에 걸쳐 최고 성능을 달성하기 위해.

제안 방법

• 인간이 주석한 이유 설명을 토큰 수준의 이유 설명 임베딩으로 변환하고, 훈련 중 BERT 입력 임베딩에 통합한다.
• 일부 이유 설명 임베딩을 0 벡터로 대체하여 마스킹된 이유 설명 예측 작업을 구현함으로써 모델이 마스킹된 이유 설명 토큰을 예측하도록 유도한다.
• BERT를 두 단계로 훈련한다: 먼저 MRP를 통해 맥락 인식 추론 능력을 학습하고, 이후 업데이트된 파rameters를 기반으로 혐오 발언 탐지에 대해 미세조정한다.
• LIME를 통해 모델의 어텐션 웨이트를 평가하여 해석 가능성 수준을 평가하고, 예측된 이유 설명을 인간이 주석한 기준값과 비교한다.
• 하향류 성능 최적화를 위해 MRP 훈련 중에 마스킹 비율(예: 50%)을 적용하여 학습 능력과 일반화 능력의 최적 균형을 확보한다.
• HateXplain 벤치마크의 인간이 주석한 이유 설명과 혐오 발언 레이블을 활용하여 맥락 기반의 방식으로 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 마스킹된 인간의 이유 설명을 예측하도록 훈련된 모델은 혐오 발언 탐지에 대해 더 맥락 기반이고 인간과 유사한 추론 방식을 습득할 수 있는가?
• RQ2 MRP로 훈련하면 공격적인 키워드에 의존하는 편향된 예측에 대비해 탐지 성능과 강건성 모두 향상되는가?
• RQ3 직접적인 이유 설명 감시나 마스킹된 언어 모델링과 비교했을 때 MRP는 해석 가능성과 편향 완화 측면에서 어떤가?
• RQ4 암묵적 혐오 발언, 즉 명시적인 비속어가 존재하지 않지만 맥락상 공격적인 의미가 드러나는 경우에 MRP는 탐지 성능을 향상시킬 수 있는가?
• RQ5 MRP 훈련 중 최적의 하향류 혐오 발언 탐지 성능을 얻기 위해 어떤 마스킹 비율을 사용해야 하는가?

주요 결과

• BERT-MRP는 HateXplain 벤치마크에서 성능 기반, 편향 기반, 해석 가능성 기반 지표를 포함한 총 11개 지표 전반에서 최고 성능을 기록했다.
• MRP에서 50% 마스킹 비율이 하향류 혐오 발언 탐지 성능을 최적화했으며, 이는 감독 학습과 일반화 능력 사이의 최적 균형을 의미한다.
• BERT-MRP는 BERT-RP 및 BERT-HateXplain보다 인간이 주석한 기준값과의 이유 설명 일치도에서 뛰어난 성능을 보였으며, 특히 암묵적 혐오 발언 케이스에서 두드러졌다.
• 모델의 이유 설명 예측은 인간이 주석한 이유 설명과 BERT-HateXplain보다 더 일관성 있게 일치했으며, 이유 설명이 문장 전반에 퍼져 있을 경우 BERT-HateXplain는 균일한 어텐션을 보이며 성능 저하를 겪었다.
• BERT-MRP는 공격적인 단어가 유일하게 존재하지 않는 암묵적 혐오 발언 탐지에서 맥락 인식 추론 메커니즘 덕분에 뛰어난 강건성을 보였다.
• 공격적인 단어에 과도하게 의존하는 경향을 줄여 편향 완화 효과를 효과적으로 달성했으며, 이는 편향 기반 지표에서의 성능 향상으로 입증되었다.