[논문 리뷰] Investigating User Radicalization: A Novel Dataset for Identifying Fine-Grained Temporal Shifts in Opinion

Flora Sakketou, Allison Lahnala외 2명|arXiv (Cornell University)|2022. 04. 16.

Opinion Dynamics and Social Influence인용 수 7

한 줄 요약

이 논문은 사회적 정치적 주제에 관한 3.5K개의 Reddit 게시글을 포함하는 SPINOS라는 새로운 주석 데이터셋을 소개한다. 이 데이터셋은 시간에 따른 세밀한 입장 성향과 강도 레이블을 제공하며, 대화 스레드 내에서의 동적 변화를 고려한다. 이를 통해 사용자 중심의 종단적 주석과 스레드 내 입장 역학을 통합함으로써 미세한 의견 변화를 모델링할 수 있으며, 비전문가 다수결 투표를 통해 전문가 수준의 주석 품질을 달성하고, 입장 탐지 및 의견 변화 분석을 위한 강력한 기준 모델을 제공한다.

ABSTRACT

There is an increasing need for the ability to model fine-grained opinion shifts of social media users, as concerns about the potential polarizing social effects increase. However, the lack of publicly available datasets that are suitable for the task presents a major challenge. In this paper, we introduce an innovative annotated dataset for modeling subtle opinion fluctuations and detecting fine-grained stances. The dataset includes a sufficient amount of stance polarity and intensity labels per user over time and within entire conversational threads, thus making subtle opinion fluctuations detectable both in long term and in short term. All posts are annotated by non-experts and a significant portion of the data is also annotated by experts. We provide a strategy for recruiting suitable non-experts. Our analysis of the inter-annotator agreements shows that the resulting annotations obtained from the majority vote of the non-experts are of comparable quality to the annotations of the experts. We provide analyses of the stance evolution in short term and long term levels, a comparison of language usage between users with vacillating and resolute attitudes, and fine-grained stance detection baselines.

연구 동기 및 목표

• 소셜 미디어에서 세밀한 시간적 의견 역학을 모델링하기 위한 공개 가능하고 고품질의 데이터셋이 부족한 문제를 해결하기 위해.
• 장기적인 사용자 수준의 의견 변화와 대화 스레드 내 단기적 변동을 모두 연구할 수 있도록 하기 위해.
• 기존 데이터셋에서 자주 누락되는 입장 강도 주석을 통합하여 미세한 의견 변화를 연구하기 위해.
• 다수결 투표를 통해 비전문가 주석자들이 고품질의 입장 주석을 생성할 수 있는지의 가능성을 평가하기 위해.
• 사회정치적 논의에서 흔들리거나 확고한 태도를 취하는 사용자 행동의 차이를 분석하기 위한 기준 모델과 실증적 통찰을 제공하기 위해.

제안 방법

• SPINOS라는 데이터셋은 사회정치적 주제(예: 낙태, 무기 통제 등)에 관한 3.5K개의 Reddit 게시글을 수집하여 입장 성향과 강도를 주석화한다.
• 각 사용자의 게시글은 시간에 따라 주석화되어 장기적 의견 변화 분석이 가능하도록 한다.
• 모든 대화 스레드 내 입장은 주석화되어 스레드 내 의견 역학과 일관성을 연구할 수 있도록 한다.
• 비전문가 주석자를 채용하고 전문가 주석과의 일致도를 통해 검증하며, 최종 레이블은 다수결 투표로 도출한다.
• 다단계 주석 프로세스를 통해 품질을 확보하고, 데이터의 상당 부분에 대해 전문가 검증을 실시한다.
• 가중치 F1 스코어를 사용하여 다섯 가지 분류 과제(입장 성향, 강도, 병합 분류)에서 기준 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 사용자들의 입장은 시간에 따라 어떻게 변화하는가? 장기적 의견 변화 패턴은 무엇인가?
• RQ2 대화 스레드 내에서 입장은 어떻게 변화하는가? 입장 성향이 바뀌는가, 아니면 강도만 변화하는가?
• RQ3 흔들리는 태도를 취하는 사용자와 안정된 입장을 취하는 사용자를 구분하는 언어적 특징은 무엇인가?
• RQ4 비전문가 주석자가 세밀한 입장 강도 주석을 위해 전문가 수준의 품질을 달성할 수 있는가?
• RQ5 강도와 성향의 변동은 언어 스타일, 참여도, 외부 사건과 어떻게 관련이 있는가?

주요 결과

• 비전문가 주석자의 다수결이 전문가 주석 품질과 유사한 수준에 도달했음을 상호 주석자 일致도 분석을 통해 확인했다.
• 사용자들은 자주 입장 성향을 시간에 따라 변화시키지만, 대부분 한쪽 성향에만 강한 강도를 보이며, 감정적 투자에서 비대칭성을 보이고 있다.
• 대화 스레드 내에서의 의견 변화는 대부분 성향이 아닌 강도의 변화를 보이며, 이는 변화가 점진적이고 미세하다는 것을 시사한다.
• 흔들리는 사용자들은 특정 어휘 카테고리가 더 빈번히 사용되는 특별한 언어 패턴을 보인다.
• 가장 성능이 뛰어난 모델은 세밀한 입장 탐지 과제에서 가중치 F1 스코어 0.652를 기록하여, 이 데이터셋이 과도한 정밀도가 요구되는 모델링에 적합함을 보여준다.
• 이 데이터셋은 의견 역학 연구의 새로운 길을 열며, 강도 지속성, 언어 스타일 일치, 입장 변화와 관련된 정서 표현 등을 포함한다.