[논문 리뷰] Facebook Ad Engagement in the Russian Active Measures Campaign of 2016

Mirela Silva, Luiz Giovanini외 3명|arXiv (Cornell University)|2020. 12. 21.

Misinformation and Its Impacts참고 문헌 30인용 수 4

한 줄 요약

이 연구는 2016년 미국 선거 기간 동안 러시아의 인터넷 연구 기관(IRL)에서 운영한 3,517개의 페이스북 광고를 기계학습을 통해 분석하여 사용자 참여를 이끄는 요소를 규명한다. 광고 지출, 텍스트 크기, 광고 지속 기간, 긍정적 정서가 참여도를 가장 강하게 예측하는 요소로 나타났으며, 종교 관련 언어와 같은 사회언어학적 특성도 효과적인 가짜 정보 캠페인에서 핵심적인 역할을 한다.

ABSTRACT

This paper examines 3,517 Facebook ads created by Russia's Internet Research Agency (IRA) between June 2015 and August 2017 in its active measures disinformation campaign targeting the 2016 U.S. general election. We aimed to unearth the relationship between ad engagement (as measured by ad clicks) and 41 features related to ads' metadata, sociolinguistic structures, and sentiment. Our analysis was three-fold: (i) understand the relationship between engagement and features via correlation analysis; (ii) find the most relevant feature subsets to predict engagement via feature selection; and (iii) find the semantic topics that best characterize the dataset via topic modeling. We found that ad expenditure, text size, ad lifetime, and sentiment were the top features predicting users' engagement to the ads. Additionally, positive sentiment ads were more engaging than negative ads, and sociolinguistic features (e.g., use of religion-relevant words) were identified as highly important in the makeup of an engaging ad. Linear SVM and Logistic Regression classifiers achieved the highest mean F-scores (93.6% for both models), determining that the optimal feature subset contains 12 and 6 features, respectively. Finally, we corroborate the findings of related works that the IRA specifically targeted Americans on divisive ad topics (e.g., LGBT rights, African American reparations).

연구 동기 및 목표

• 2016년 미국 선거 기간 동안 러시아 IRA의 페이스북 광고에서 사용자 참여도를 예측하는 특징을 규명하기 위해.
• 사회언어학적 특성, 정서, 메타데이터가 광고 효과성에 미치는 영향을 이해하기 위해.
• 기계학습 모델이 높은 참여도를 보이는 가짜 정보 콘텐츠를 식별하는 데 있어 예측 능력을 평가하기 위해.
• 광고 내용의 토픽 모델링을 통해 IRA가 타깃으로 삼은 사회정치적 주제를 밝혀내기 위해.
• 국가 주도의 가짜 정보 캠페인에서의 구조적 및 언어적 패턴을 드러내어 향후 대응 조치를 뒷받침하기 위해.

제안 방법

• 광고 지출, 지속 기간 등 메타데이터(예: 광고 지출, 지속 기간), 텍스트 크기, 정서 등을 포함한 총 41개 특징을 3,517개의 IRA 페이스북 광고에서 추출하였다.
• 참여도(클릭 수)와 개별 특징 간의 관계를 평가하기 위해 상관 분석을 실시하였다.
• 6개의 기계학습 모델(예: 선형 서포트 벡터 머신, 로지스틱 회귀)을 활용해 최적의 특징 조합을 도출하기 위해 특징 선택 기법을 적용하였다.
• 광고 콘텐츠의 주요 의미적 주제를 식별하기 위해 은닉 디리히레트 할당(LDA)을 사용한 토픽 모델링을 수행하였다.
• LDA에 입력되는 텍스트 표현을 위해 단어의 집합(BoW) 표현을 사용하였으며, 사회언어학적 분석에는 17개의 LIWC 카테고리를 활용하였다.
• 다양한 분류기 모델을 훈련 및 평가하여 예측 성능을 분석하였으며, 선형 서포트 벡터 머신과 로지스틱 회귀 모델이 가장 높은 F-스코어를 기록하였다.

실험 결과

연구 질문

• RQ1 IRA 페이스북 광고에서 참여도와 가장 강하게 상관관계가 있는 메타데이터, 정서, 사회언어학적 특징는 무엇인가?
• RQ2 가짜 정보 광고에서 높은 참여도를 예측하는 데 최적의 특징 조합은 무엇인가?
• RQ3 IRA는 가짜 정보 캠페인에서 어떤 사회정치적 주제를 가장 자주 타깃으로 삼았는가?
• RQ4 추출된 특징을 기반으로 기계학습 모델이 높은 참여도를 보이는 가짜 정보 광고를 얼마나 잘 분류하는가?
• RQ5 정서와 언어 패턴(예: 종교 관련 단어)이 광고 효과성에 얼마나 큰 영향을 미치는가?

주요 결과

• 광고 지출, 텍스트 크기, 광고 지속 기간, 정서는 6개의 기계학습 모델에서 일관되게 참여도를 가장 잘 예측하는 상위 4개 특징로 선정되었다.
• 긍정적 정서를 담은 광고가 부정적 정서 광고보다 유의미하게 더 높은 참여도를 기록하여, 정서적 톤이 참여도의 핵심 요인임을 확인하였다.
• 사회언어학적 특성—특히 종교 관련 단어의 사용—이 참여도를 예측하는 데 가장 중요한 요소 중 하나로 나타났다.
• 선형 서포트 벡터 머신과 로지스틱 회귀 모델이 각각 12개 및 6개의 최적 특징 조합을 사용해 평균 F-스코어 93.6%를 기록하며 가장 높은 성능을 보였다.
• 토픽 모델링을 통해 IRA가 레즈비언, 게이, 비이성애자 권리, 아프리카계 미국인 배상, 2차 수정헌법권, 낙태 권리 등 분열을 유도하는 사회정치적 이슈를 구체적으로 타깃으로 삼았음을 확인하였다.
• 이 연구는 이전 연구 결과를 확인하며, IRA가 2016년 선거 기간 동안 사회적 갈등을 악화시키기 위해 소수자 및 극단화된 공동체를 전략적으로 타깃으로 삼았음을 재확인한다.