[논문 리뷰] How Hateful are Movies? A Study and Prediction on Movie Subtitles

Niklas von Boguszewski, Sana Moin외 3명|arXiv (Cornell University)|2021. 08. 19.

Hate Speech and Cyberbullying Detection참고 문헌 12인용 수 4

한 줄 요약

이 연구는 혐오 발언, 모욕적 발언 또는 일반 발언으로 분류된 11,000개의 영화 자막을 포함하는 새로운 데이터셋을 소개하며, 사회적 미디어(트위터, 포브스 뉴스)에서 유도된 전이 학습 기법을 활용해 영화 대사에서 혐오 및 모욕적 발언을 탐지하는 방법을 평가한다. 영화 자막에 맞게 미세조정된 BERT 모델은 매크로 F1 스코어 77%를 기록하여, 맥락적 및 언어적 차이가 있음에도 불구하고 사회적 미디어 혐오 발언 탐지 기법이 영화 자막에 효과적으로 적용될 수 있음을 보여준다.

ABSTRACT

In this research, we investigate techniques to detect hate speech in movies. We introduce a new dataset collected from the subtitles of six movies, where each utterance is annotated either as hate, offensive or normal. We apply transfer learning techniques of domain adaptation and fine-tuning on existing social media datasets, namely from Twitter and Fox News. We evaluate different representations, i.e., Bag of Words (BoW), Bi-directional Long short-term memory (Bi-LSTM), and Bidirectional Encoder Representations from Transformers (BERT) on 11k movie subtitles. The BERT model obtained the best macro-averaged F1-score of 77%. Hence, we show that transfer learning from the social media domain is efficacious in classifying hate and offensive speech in movies through subtitles.

연구 동기 및 목표

• 기존의 사회적 미디어 혐오 발언 탐지 모델이 영화 자막에 적용될 때 겪는 한계를 조사하기 위해.
• 전이 학습을 활용해 영화 자막에서 혐오 및 모욕적 발언을 탐지하기 위한 분류 모델을 개발하고 평가하기 위해.
• 혐오, 모욕적, 일반 콘텐츠로 분류된 11,000개의 영화 자막 문장으로 구성된 새로운 공개 데이터셋을 구축하기 위해.
• Bag of Words, Bi-LSTM, BERT와 같은 다양한 NLP 아키텍처가 영화 대사에서 혐오 및 모욕적 발언을 분류하는 데 얼마나 효과적인지 탐색하기 위해.
• 향후 미디어 기반 혐오 발언 탐지 연구를 지원하기 위해 데이터셋, 미세조정된 모델, 코드를 공개하기 위해.

제안 방법

• 11,000개의 영화 자막 문장을 6편의 영화에서 추출하여, 혐오, 모욕적, 일반의 3개 클래스로 분류하기 위해 배치 기반, 맥락 인식형 애너테이션 프로세스를 사용했다.
• 연구는 트위터 및 포브스 뉴스 데이터셋에서 사전 학습된 모델을 활용한 도메인 적응 및 미세조정을 통해 전이 학습을 적용하여 영화 자막에서의 성능을 향상시켰다.
• 세 가지 모델을 평가했다: 순차적 대화 패턴을 포착하기 위한 Bi-LSTM, 맥락적 표현 학습을 위한 BERT 모델, 그리고 백오프 워드 기반 기준 모델.
• BERT 모델은 데이터 누출을 방지하고 정확한 평가를 확보하기 위해 k-폴드 교차 검증을 활용해 영화 자막 데이터셋에 대해 미세조정하였다.
• 사회적 미디어 텍스트와 영화 대사의 구조를 더 잘 맞추기 위해 자막 조각을 통합하는 기법을 개발하여 전이 학습의 성능을 향상시켰다.
• 모든 모델은 매크로 평균 F1 스코어를 사용해 평가되었으며, 애너테이션 불일치 및 모델 예측의 정성적 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 사회적 미디어 혐오 발언 탐지 모델이 영화 자막에 적용될 때 겪는 한계는 무엇인가?
• RQ2 사회적 미디어 및 뉴스 도메인에서 유도된 전이 학습이 영화 자막에서 혐오 및 모욕적 발언을 분류하는 데 얼마나 효과적인가?
• RQ3 Bag of Words, Bi-LSTM, BERT 중 어떤 NLP 아키텍처가 영화 자막 혐오 발언 탐지에서 가장 뛰어난 성능을 보이는가?
• RQ4 애너테이션 불일치와 맥락적 갭은 영화 대사에서 혐오 발언 탐지의 신뢰성에 어떻게 영향을 미치는가?
• RQ5 데이터 셔플링 없이도 미세조정된 BERT 모델이 새로운, 알려지지 않은 영화에 잘 일반화되는가? 이는 실제 운영 환경의 현실성을 유지하는가?

주요 결과

• BERT 모델은 매크로 평균 F1 스코어 77%를 기록하여, 혐오 발언과 모욕적 발언을 구분하는 데 있어 백오프 워드 및 Bi-LSTM 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 연구에서 영화가 인종적 또는 혐오적이라는 태그가 붙은 경우—예: *Django Unchained*와 *BlacKkKlansman*—에서 혐오 발언 비율이 가장 높았으며, 우정 중심의 영화인 *The Wolf of Wall Street*는 혐오 발언 비율은 낮지만 모욕적 발언 비율이 높았다.
• 애너테이터 간 불일치가 빈번히 발생했으며, 특히 'nigger'나 'shit' 같은 비속어의 경우 맥락과 발언자의 의도가 분류에 큰 영향을 미쳐 혐오 발언 탐지의 주관성이 뚜렷하게 드러났다.
• 모든 모델의 성능은 '일반' 클래스에서 가장 뛰어났으며, 이는 '모욕적'과 '혐오' 발언을 구분하는 것이 여전히 큰 과제임을 시사한다.
• 영화 자막 데이터셋에 대해 BERT를 미세조정하면 도메인 적응 모델보다 성능 향상이著명하게 향상되었으며, 이는 도메인 내 데이터에 대한 미세조정이 높은 정확도를 확보하는 데 핵심적임을 보여준다.
• 연구팀은 전체 데이터셋, 모델, 코드를 공개하여 재현 가능성과 향후 미디어 기반 혐오 발언 탐지 연구를 지원하였다.