[논문 리뷰] Unraveling Social Perceptions & Behaviors towards Migrants on Twitter

Aparup Khatua, Wolfgang Nejdl|arXiv (Cornell University)|2021. 12. 04.

Hate Speech and Cyberbullying Detection인용 수 2

한 줄 요약

이 논문은 트위터에서 이주민에 대한 인식(공감/반감)과 행동(지지/적대감)을 구분하기 위한 세분화된 NLP 프레임워크를 제안한다. BERT + CNN 모델을 사용하여 F1 스코어 0.76를 달성하였으며, 혐오 발언 탐지의 관점을 인식 차원과 행동 차원으로 분리함으로써 이원 분류를 넘어서는 뉘앙스 있는 도구를 제공한다.

ABSTRACT

We draw insights from the social psychology literature to identify two facets of Twitter deliberations about migrants, i.e., perceptions about migrants and behaviors towards mi-grants. Our theoretical anchoring helped us in identifying two prevailing perceptions (i.e., sympathy and antipathy) and two dominant behaviors (i.e., solidarity and animosity) of social media users towards migrants. We have employed unsupervised and supervised approaches to identify these perceptions and behaviors. In the domain of applied NLP, our study offers a nuanced understanding of migrant-related Twitter deliberations. Our proposed transformer-based model, i.e., BERT + CNN, has reported an F1-score of 0.76 and outperformed other models. Additionally, we argue that tweets conveying antipathy or animosity can be broadly considered hate speech towards migrants, but they are not the same. Thus, our approach has fine-tuned the binary hate speech detection task by highlighting the granular differences between perceptual and behavioral aspects of hate speeches.

연구 동기 및 목표

• 기존 문헌의 격차를 해소하기 위해 사회적 미디어에서 이주민에 대한 인식과 행동을 통합적으로 분석하는 것, 고립된 측면에만 초점을 맞추지 않는 것.
• 사회심리학 이론을 기반으로 이주민에 대한 공감, 반감, 지지, 적대감이라는 서로 다른 사회적 미디어 표현을 개념화하고 식별하는 것.
• 이주민에 대한 부정적 태도의 인식적(태도 기반) 및 행동적(행동 기반) 구성요소를 구분함으로써 혐오 발언 탐지의 정교함을 높이는 것.
• 이주민 관련 트위터 콘텐츠의 세분화된 분류가 가능한 강력한 NLP 모델을 개발하고 평가하는 것.
• 정책 결정자들이 유해한 인식을 탐지하고 부정적 스테레오타입을 줄이며 난민 혐오를 감소시키는 데 도움이 되는 AI 기반 프레임워크를 제공하는 것.

제안 방법

• 사회심리학 이론에서 유래한 이중 이론적 프레임워크를 활용하여, 이주민에 대한 공감, 반감, 지지, 적대감이라는 네 가지 카테고리 정의.
• 2020년 5월에서 9월 사이에 수집된 800,000건의 사전 처리된 이주민 관련 트위터 트윗을 사용하여 비지도 및 지도 학습 기반 NLP 기법 적용.
• 피팅 조정 없이도 초기 인식 및 행동 탐지에 대해 제로샷 분류 모델 적용.
• Bi-LSTM, CNN, 그리고 트랜스포머 기반 모델(BERT 및 RoBERTa)을 사용한 다수의 딥러닝 아키텍처를 학습 및 비교. fastText 임베딩 사용.
• BERT의 문맥적 임베딩과 CNN의 국소적 특징 추출 기능을 융합한 하이브리드 BERT + CNN 아키텍처 제안.
• 인간 레이블링된 데이터를 활용해 지도 학습 및 테스트를 수행하며, 평가 지표로 가중 F1 스코어를 최적화.

실험 결과

연구 질문

• RQ1 트위터에서 사회적 미디어 사용자들은 이주민에 대해 어떤 방식으로 인식(공감 대 반감)과 행동(지지 대 적대감)을 표현하는가?
• RQ2 NLP 모델은 트위터에서 이주민에 대한 부정적 태도의 인식적 및 행동적 차원을 얼마나 정확히 구분할 수 있는가?
• RQ3 제안된 BERT + CNN 모델은 다른 최첨단 모델들과 비교해 이주민에 대한 세분화된 인식과 행동을 분류하는 데서 어떤 성능을 보이는가?
• RQ4 반감 또는 적대감을 표현하는 트윗은 서로 의미적으로 구분될 수 있으며, 이는 서로 다른 형태의 혐오 발언을 의미하는가?
• RQ5 유해한 인식을 조기에 탐지하고 간섭함으로써 악성 행동으로 이어지기 전에 방지할 수 있는 정책적 함의는 무엇인가?

주요 결과

• 제안된 BERT + CNN 모델은 가중 F1 스코어 0.76을 달성하여 Bi-LSTM, CNN, BERT, RoBERTa 등 다른 모델들을 모두 앞서 성능이 뛰어남.
• 이주민에 대한 부정적 태도의 인식적 및 행동적 차원은 서로 구분 가능함: 반감(부정적 인식)과 적대감(부정적 행동)은 동일한 혐오 발언으로 분류되더라도 동일한 개념이 아님.
• 연구 결과, 이주민에 대한 지지 메시지조차도 공격적 언어를 포함할 수 있음을 확인하여, 감정과 언어적 독성은 항상 일치하지는 않음을 시사함.
• 반감 또는 적대감을 표현하는 트윗의 상당수는 공격적 언어를 포함하지만, 모든 공격적 언어가 이주민을 대상으로 하는 것은 아니며, 맥락이 중요함.
• 부정적인 인식, 예를 들어 이주민이 현지 주민의 일자리를 줄인다는 믿음이 널리 퍼져 있지만 사실과 다를 수 있음을 규명하여, 수정이 필요한 간섭 조치가 필요함.
• 이 프레임워크를 통해 정책 결정자들은 유해한 인식을 조기에 탐지하고, '정지 신호'(예: 논란이 있는 주장을 레이블링) 또는 '유도 메커니즘'(예: 지지 메시지의 확산)을 통해 사회적 행동에 영향을 줄 수 있음.