[논문 리뷰] Mitigating Confirmation Bias on Twitter by Recommending Opposing Views

Elisabeth Lex, Mario Wagner외 1명|arXiv (Cornell University)|2018. 09. 11.

Misinformation and Its Impacts참고 문헌 9인용 수 8

한 줄 요약

이 논문은 확장성 있는 TF-IDF 삼중어 벡터와 Apache Solr의 MoreLikeThis를 활용한 코사인 유사도를 통해 트위터에서 확인 편향을 줄이기 위해 반대 정치적 입장을 가진 콘텐츠에 노출을 늘리는 하이브리드 콘텐츠 기반 추천 시스템을 제안한다. 이 시스템은 프로-트럼프 및 콈-트럼프 그룹의 트윗을 추천하여 더 높은 랜덤성과 다양성을 달성하며, 특히 콘텐츠 혼합 시에 효과가 뛰어나지만 최적의 비율은 그룹 내 본질적 다양성에 따라 달라진다.

ABSTRACT

In this work, we propose a content-based recommendation approach to increase exposure to opposing beliefs and opinions. Our aim is to help provide users with more diverse viewpoints on issues, which are discussed in partisan groups from different perspectives. Since due to the backfire effect, people's original beliefs tend to strengthen when challenged with counter evidence, we need to expose them to opposing viewpoints at the right time. The preliminary work presented here describes our first step into this direction. As illustrative showcase, we take the political debate on Twitter around the presidency of Donald Trump.

연구 동기 및 목표

• 소셜 미디어에서 확인 편향을 해결하기 위해 사용자가 반대 정치적 입장을 가진 시각에 노출되도록 증가시키기.
• 프로-트럼프 및 콸-트럼프 트위터 사용자로부터 트윗을 통합하는 콘텐츠 기반 추천 시스템을 설계하기.
• 기존 정확도 지표를 넘어서 다양성과 랜덤성을 향상시키는 혼합 추천의 효과를 평가하기.
• 기존 신념 강화를 최소화하면서 최적의 파artisan 콘텐츠 혼합 전략을 도출하기.
• 교차 파artisan 콘텐츠를 도입할 최적의 시점과 맥락적 촉매 요소를 탐색하기.

제안 방법

• 수동으로 선택한 파artisan 해시태그를 사용해 39,698개의 계정에서 73,868개의 트윗을 수집하여 프로-트럼프 및 콸-트럼프 사용자를 식별했다.
• 팔로워, 팔로잉, 좋아요, 트윗 수의 사분위율 범위를 활용해 관리 계정이나 이질적 계정을 제거하여 총 5,672개의 영어 사용자로 필터링했다.
• 각 사용자의 트윗을 연결하여 사용자 입장을 추출하고, TF-IDF 삼중어 벡터를 계산한 후, 문제의 입장을 가진 벡터와의 코사인 유사도를 통해 사용자 분류를 수행했다.
• Apache Solr의 MoreLikeThis를 활용한 콘텐츠 기반 필터링 추천 엔진을 구현하여 사용자의 가장 빈번한 단어 15개의 삼중어를 기반으로 트윗을 추천했다.
• 10만 건의 트윗 추천 세트(프로-트럼프 5만 건, 콸-트럼프 5만 건)를 생성하고, 사용자 삼중어와 후보 트윗 간의 코사인 유사도를 계산하여 추천을 생성했다.
• 표준(동일한 입장), 반대 입장, 하이브리드(50/50 혼합)의 4가지 추천 변형을 사용하여 랜덤성과 다양성 지표로 평가했다.

실험 결과

연구 질문

• RQ1 트위터에서 반대 정치적 입장을 가진 콘텐츠에 노출되도록 하기 위해 콘텐츠 기반 추천 시스템을 어떻게 설계할 수 있는가?
• RQ2 프로-트럼프 및 콸-트럼프 트윗을 혼합함으로써 추천의 다양성과 랜덤성에 어떤 영향을 미치는가?
• RQ3 파artisan 사용자 그룹 내에서의 본질적 주제 유사성은 추천의 다양성에 어떤 영향을 미치는가?
• RQ4 프로-트럼프 및 콸-트럼프 콘텐츠의 최적 혼합 비율은 무엇이며, 이는 추천의 다양성과 랜덤성을 극대화하는가?
• RQ5 교차 파artisan 콘텐츠를 도입할 가장 적절한 시점은 언제이며, 이는 사용자의 수용도를 높이고 반작용 효과를 줄이는가?

주요 결과

• 하이브리드 추천 변형은 프로-트럼프 사용자와 콸-트럼프 사용자 모두에서 높은 다양성 점수(각각 0.728, 0.701)를 기록하여 다양한 콘텐츠의 효과적 혼합을 확인했다.
• 반대 입장 추천 변형은 각 그룹에서 가장 높은 랜덤성 점수(콜-트럼프 사용자 0.951, 프로-트럼프 사용자 0.943)를 기록하여 다른 쪽의 콘텐츠를 추천함으로써 놀라움과 신선함이 증가함을 보여주었다.
• 콜-트럼프 사용자 그룹은 프로-트럼프 사용자 그룹(27.7%)보다 평균 주제 유사도가 높아 44.6%로 유의미하게 높았으며, 이는 콜-트럼프 그룹 내에서 본질적 다양성이 낮음을 시사한다.
• 하이브리드 접근은 순수 입장 기반 추천보다 다양성에서 더 뛰어났지만, 그룹 수준의 다양성 차이를 고려해 각 그룹에서의 콘텐츠 비율을 조정할 필요가 있다.
• 프로-트럼프 추천 변형이 콜-트럼프 사용자에 대해 하이브리드 변형보다 다양성에서 뛰어나, 더 균일한 그룹을 과도하게 강조하면 전체 다양성이 감소함을 시사한다.
• 본 연구는 빈도 정확도를 넘어서 랜덤성과 다양성 같은 지표가 다극화와 확인 편향을 줄이려는 시스템 평가에 필수적임을 확인한다.