[논문 리뷰] Characterizing the 2022 Russo-Ukrainian Conflict Through the Lenses of Aspect-Based Sentiment Analysis: Dataset, Methodology, and Preliminary Findings

Maurantonio Caprolu, Alireza Sadighian외 1명|arXiv (Cornell University)|2022. 08. 02.

Sociopolitical Dynamics in Russia참고 문헌 15인용 수 9

한 줄 요약

이 연구는 2022 러시아-우크라이나 전쟁에 관한 558만 건의 영어 트윗 데이터셋을 대상으로 특성 기반 감성 분석(ABSA)을 적용하여 트위터에서의 대중의 감성 분석을 수행한다. 널리 퍼진 언론 보도와는 달리, 대규모 정보 왜곡 캠페인의 증거는 발견되지 않았지만, 특히 저 친구비율 및 최신 생성 계정들 사이에서 관찰된 감성 추세 및 사용자 행동의 이질성은 목표 지향적인 활동을 시사하며, 고도의 봇 탐지 기법을 활용한 추가 조사가 필요하다.

ABSTRACT

Online social networks (OSNs) play a crucial role in today's world. On the one hand, they allow free speech, information sharing, and social-movements organization, to cite a few. On the other hand, they are the tool of choice to spread disinformation, hate speech, and to support propaganda. For these reasons, OSNs data mining and analysis aimed at detecting disinformation campaigns that may arm the society and, more in general, poison the democratic posture of states, are essential activities during key events such as elections, pandemics, and conflicts. In this paper, we studied the 2022 Russo-Ukrainian conflict on Twitter, one of the most used OSNs. We quantitatively and qualitatively analyze a dataset of more than 5.5+ million tweets related to the subject, generated by 1.8+ million unique users. By leveraging statistical analysis techniques and aspect-based sentiment analysis (ABSA), we discover hidden insights in the collected data and abnormal patterns in the users' sentiment that in some cases confirm while in other cases disprove common beliefs on the conflict. In particular, based on our findings and contrary to what suggested in some mainstream media, there is no evidence of massive disinformation campaigns. However, we have identified several anomalies in the behavior of particular accounts and in the sentiment trend for some subjects that represent a starting point for further analysis in the field. The adopted techniques, the availability of the data, the replicability of the experiments, and the preliminary findings, other than being interesting on their own, also pave the way to further research in the domain.

연구 동기 및 목표

• 2022 러시아-우크라이나 전쟁의 주요 당사자에 대한 대중의 감성을 트위터 데이터를 통해 분석하기 위해.
• 소셜 미디어에서의 감성 이질성 및 사용자 행동 패tern을 통해 잠재적 정보 왜곡 캠페인을 탐지하기 위해.
• 트위터에서의 지리정치적 갈등에 대한 대규모 감성 분석을 위한 재현 가능한 데이터셋 및 방법론을 개발하기 위해.
• 주요 글로벌 사건 기간 동안 복잡한 대중 인식을 포착하는 데 특성 기반 감성 분석(ABSA)의 효과성을 평가하기 위해.
• 협력 또는 봇 기반 활동을 시사할 수 있는 사용자 계정의 행동 이질성을 식별하기 위해.

제안 방법

• 2022년 1월 27일부터 3월 23일까지 트위터 API를 활용하여 전쟁과 관련된 사전 정의된 키워드를 기반으로 5,583,168건의 트윗을 수집하였다.
• 팔로워/팔로잉 비율 및 계정 연령을 기반으로 사용자 계정을 다섯 가지 범주로 분류하였으며, '베이비' 계정(최근 생성된 계정)을 포함하였다.
• 특성 기반 감성 분석(ABSA)을 적용하여 '푸틴', '제렌스키', 'NATO', '우크라이나', '러시아' 등 다섯 가지 핵심 요소에 대해 감성(긍정, 부정, 중립)을 추출하였다.
• 각 특성 및 사용자 범주에 대해 시간에 따른 감성 변화를 추적하여 공인된 이질성 및 대중 인식의 변화를 탐지하였다.
• 통계 기법을 활용한 정량적 및 정성적 분석을 수행하여 유기적 사용자 행동과 일치하지 않는 패턴을 식별하였다.
• 데이터셋의 재현 가능성을 확보하기 위해 쿼리 매개변수 및 방법론을 보고하였다.

실험 결과

연구 질문

• RQ1 2022 러시아-우크라이나 전쟁에 대한 대중 여론을 대상으로 한 대규모 정보 왜곡 캠페인의 증거가 있었는가?
• RQ2 2022년 2월 24일 전쟁 격화 이전 및 이후에, 주요 인물들(예: 푸틴, 제렌스키)과 기관들(예: NATO, 우크라이나, 러시아)에 대한 대중의 감성은 어떻게 변화했는가?
• RQ3 특히 저 친구비율 또는 최신 생성 계정들 사이의 사용자 행동 패턴은 협력 또는 자동화된 활동의 징후를 보였는가?
• RQ4 ABSA는 소셜 미디어에서의 지리정치적 논의에서 복잡한 감성 차이를 어느 정도 효과적으로 포착할 수 있는가?
• RQ5 정부 인물들(예: 푸틴)과 그들이 대표하는 국민들(예: 러시아) 사이의 감성 추세는 어떻게 다를까?

주요 결과

• 전쟁 격화 이후 푸틴 대통령에 대한 감성은 뚜렷이 부정적으로 전환되었으며, 긍정적 감성은 낮고 안정적으로 유지되어, 대규모 프루-푸틴 감성 동원 없이도 공중의 인식이 명확히 변화한 것으로 나타났다.
• 국가로서의 러시아에 대한 긍정적 감성은 다소 증가하지 않았으며, 이는 사용자들이 러시아 정부와 국민을 구분하고 있음을 시사하며, 푸틴에 대한 감성과는 대조된다.
• 저 친구비율(FR) 계정들은 핵심 요소들에 대해 더 높은 트윗 생성량과 이질적인 감성 추세를 보였으며, 이는 협력 또는 자동화된 행동의 가능성을 시사한다.
• 최근 생성된 '베이비' 계정들의 일일 생성 비율이 비정상적으로 높았으며, 이는 일부 계정이 전쟁 관련 콘텐츠를 확산시키기 위해 특별히 생성되었을 가능성을 시사한다.
• 매스컴의 높은 노출에도 불구하고, 제렌스키 대통령에 대한 트위터 감성은 일관되게 긍정적이었지만 강도는 높지 않아, 주류 미디어와 소셜 미디어 간의 인식 격차를 보여준다.
• 푸틴에 대한 부정적 감성과 중립 감성 간의 상쇄 추세—하나가 상승하면 다른 하나가 하락하는 방식—는 조작된 감성 조작이 아니라 유기적인 인식 변화를 시사한다.