[논문 리뷰] Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content

Liam Hebert, Hong Yi Chen외 2명|arXiv (Cornell University)|2023. 01. 25.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 고려된 맥락, 순차적 정보 및 다중모달(텍스트, 이미지, 기사) 정보를 활용하여 고립된 댓글이 아닌 전체 토론 스레드를 분석함으로써 혐오 발언을 예측하는 그래프 트랜스포머 기반 접근법을 제안한다. 이는 동적이고 맥락에 의존하는 혐오 발언 사례, 특히 재정의된 모욕어나 다중모달 콘텐츠가 포함된 경우에 댓글 전용 모델보다 참성과 참외성의 오류를 줄여 성능을 향상시킨다.

ABSTRACT

Our work advances an approach for predicting hate speech in social media, drawing out the critical need to consider the discussions that follow a post to successfully detect when hateful discourse may arise. Using graph transformer networks, coupled with modelling attention and BERT-level natural language processing, our approach can capture context and anticipate upcoming anti-social behaviour. In this paper, we offer a detailed qualitative analysis of this solution for hate speech detection in social networks, leading to insights into where the method has the most impressive outcomes in comparison with competitors and identifying scenarios where there are challenges to achieving ideal performance. Included is an exploration of the kinds of posts that permeate social media today, including the use of hateful images. This suggests avenues for extending our model to be more comprehensive. A key insight is that the focus on reasoning about the concept of context positions us well to be able to support multi-modal analysis of online posts. We conclude with a reflection on how the problem we are addressing relates especially well to the theme of dynamic change, a critical concern for all AI solutions for social impact. We also comment briefly on how mental health well-being can be advanced with our work, through curated content attuned to the extent of hate in posts.

연구 동기 및 목표

• evolving 대화 맥락을 고려하지 못하는 댓글 전용 혐오 발언 탐지 모델의 한계를 해결하기 위해.
• 그래프 기반 추론을 사용하여 혐오 발언이 명시적으로 게재되기 전에 이를 사전 예측할 수 있는 능동적 혐오 발언 탐지 시스템을 개발하기 위해.
• 이미지 및 외부 기사와 같은 다중모달 콘텐츠를 혐오 발언 탐지에 통합하여 맥락 정확도를 향상시키기 위해.
• 동적이고 맥락에 민감한 혐오 강도 점수를 통해 사용자가 콘텐츠를 스스로 조정할 수 있도록 지원함으로써 정신 건강을 지원하기 위해.
• 그래프 기반 토론 구조 모델링이 고립된 댓글 분석보다 더 정확하고 공정한 혐오 발언 예측을 이끌어내는지 입증하기 위해.

제안 방법

• 모델은 Graphormer라는 그래프 트랜스포머 아키텍처를 사용하여 토론 스레드의 구조를 그래프로 인코딩하며, 노드는 댓글을, 엣지는 응답 관계를 나타낸다.
• 텍스트에 대한 BERT 기반 맥락 임베딩을 통합하고, 이미지 임베딩과 기사 콘텐츠와 같은 다중모달 특징을 모델에 확장한다.
• 이 시스템은 이전 맥락만을 사용하여 순차적이고 깊이 우선적인 댓글 레이블 예측을 수행함으로써 실제 운영 환경 조건을 시뮬레이션한다.
• 그래프 트랜스포머의 어텐션 메커니즘은 향후 혐오 발언 예측에 있어 이전 댓글과 구조적 관계의 중요도를 가중치로 평가할 수 있도록 한다.
• 모델은 Reddit 토론 데이터를 토대로 학습하여 혐오 강도가 점점 증가하는 0–4 순서 척도에서 혐오 발언을 예측하도록 피니테이닝된다.
• 사용자 수준의 정보와 커뮤니티 수준의 동적 요소가 그래프에 인코딩되어 맥락 민감도를 향상시킨다.

Figure 1: Graphormer Architecture

실험 결과

연구 질문

• RQ1 전체 토론 스레드를 모델링하는 것이 고립된 댓글 분석보다 혐오 발언 탐지 성능을 어떻게 향상시키는가?
• RQ2 이미지 및 기사와 같은 다중모달 요소가 혐오 발언 분류 정확도에 어떤 영향을 미치는가?
• RQ3 그래프 트랜스포머 모델은 명시적으로 표현되기 전에 혐오 발언의 발생을 사전에 예측할 수 있는가?
• RQ4 재정의된 모욕어와 맥락에 따라 달라지는 언어가 댓글 전용 모델과 그래프 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ5 동적이고 맥락에 민감한 혐오 강도 점수는 정신 건강과 사용자 자율 모니터링에 어느 정도 기여할 수 있는가?

주요 결과

• 그래프 기반 모델은 레즈비언, 게이, 비이성애자 언어권에서 사용되는 재정의된 모욕어를 사용한 댓글에서 참성 오류를 크게 줄였다. 이러한 댓글들은 댓글 전용 모델에 의해 혐오로 잘못 분류되는 경향이 있었다.
• 이미지와 기사가 입력에 포함되면서 맥락 이해가 향상되었으며, 특히 텍스트만으로는 모호하거나 오해의 소지가 있었던 경우에 유용했다.
• 모델은 혐오 발언이 명백해지기 전에 점진적인 혐오 발언의 발생을 성공적으로 예측하여 능동적 탐지 능력을 입증했다.
• 감정이 강한 토론이지만 실제 혐오 수준은 낮은 경우, 그래프 모델은 댓글 전용 모델보다 낮은 혐오 예측을 유지하여 과도한 감시를 방지했다.
• 이미지-텍스트 조합에 의존하는 맥락적 혐오 콘텐츠 탐지에서, 이 시스템은 오직 텍스트에 의존하는 모델보다 더 뛰어난 성능을 보였다.
• 순서 척도 기반 혐오 강도 점수 덕분에 개인 맞춤형 콘텐츠 필터링이 가능해졌으며, 사용자가 논란이 되는 콘텐츠에 노출되는 것을 스스로 선택할 수 있도록 해 정신 건강에 기여했다.

Figure 2: Photo of the Drag Queen discussed in Table 3