[논문 리뷰] The Rise of Guardians: Fact-checking URL Recommendation to Combat Fake News

Nguyen Vo, Kyumin Lee|arXiv (Cornell University)|2018. 06. 20.

Misinformation and Its Impacts참고 문헌 57인용 수 31

한 줄 요약

이 논문은 온라인 사용자—'감시자'로 불리는 사람들—가 위성 정보를 공유함으로써 오류 정보를 정정하는 데 참여하도록 유도하기 위해 새로운 사실 확인 URL 추천 모델인 GAU(Guardian-Aware Utility)를 소개한다. 사회적 네트워크 구조, URL의 내용, 최근 트윗 활동을 활용함으로써 GAU는 핵심 지표에서 네 가지 최첨단 모델보다 11%에서 33% 높은 성능을 기록하여 신뢰할 수 있는 정보의 확산을 크게 향상시켰다. 이는 가짜 뉴스와의 전투에 기여한다.

ABSTRACT

A large body of research work and efforts have been focused on detecting fake news and building online fact-check systems in order to debunk fake news as soon as possible. Despite the existence of these systems, fake news is still wildly shared by online users. It indicates that these systems may not be fully utilized. After detecting fake news, what is the next step to stop people from sharing it? How can we improve the utilization of these fact-check systems? To fill this gap, in this paper, we (i) collect and analyze online users called guardians, who correct misinformation and fake news in online discussions by referring fact-checking URLs; and (ii) propose a novel fact-checking URL recommendation model to encourage the guardians to engage more in fact-checking activities. We found that the guardians usually took less than one day to reply to claims in online conversations and took another day to spread verified information to hundreds of millions of followers. Our proposed recommendation model outperformed four state-of-the-art models by 11%~33%. Our source code and dataset are available at https://github.com/nguyenvo09/CombatingFakeNews.

연구 동기 및 목표

• 소셜 미디어 토론에서 사실 확인 URL을 공유함으로써 오류 정보를 정정하는 데 적극적으로 참여하는 온라인 사용자—'감시자'—를 식별하고 분석하는 것.
• 사실 확인 시스템이 가용함에도 불구하고 그 활용이 부족한 문제를 해결하는 것.
• 감시자가 더 자주이고 효과적으로 검증된 URL을 공유하도록 유도하는 개인화된 추천 모델을 개발하는 것.
• 이미 신뢰성 검증에 관심을 보이는 활동적인 사용자를 대상으로 하여 사실 확인 노력의 확장성과 영향력을 높이는 것.

제안 방법

• 저자들은 거짓 주장에 대응하여 직접 또는 재게시한 사실 확인 URL을 게재한 트위터의 감시자 데이터셋을 수집하고 분석하였다.
• 감시자의 사회적 네트워크 구조, 사실 확인 URL의 내용, 최근 트윗 활동이라는 세 가지 보조 신호를 통합한 GAU 모델을 도입하였다.
• GAU는 가중치가 부여된 이 신호들의 조합을 학습 가능한 초수치 α, β, 및 γ를 통해 개인화된 URL 추천을 수행한다.
• 유사도와 다양성의 균형을 고려해 순서 매기기 손실 함수를 사용하고, 음성 샘플링을 적용하여 모델을 훈련시켰다.
• 행렬 분해 기반 추천 기법을 보조 기능과 함께 활용하여, 공동 필터링을 사회적 및 맥락적 특징으로 강화함으로써 감시자에 대한 URL의 유용성을 예측한다.
• 성능 최적화를 위해 그리드 서치를 통해 초수치를 튜닝하였으며, 이는 재현율, NDCG, MAP 지표에서의 성능 향상을 목표로 하였다.

실험 결과

연구 질문

• RQ1 사실 확인 URL을 공유함으로써 오류 정보를 정정하는 데 참여하는 감시자—온라인 토론에서 활동적인 사용자—는 어떻게 행동하는가?
• RQ2 개인화된 추천 모델이 감시자가 더 많은 사실 확인 URL을 공유하도록 효과적으로 자극할 수 있는가?
• RQ3 사회적 네트워크 구조, URL의 내용, 사용자 행동을 통합함으로써 사실 확인 URL 추천 성능이 어떻게 향상되는가?
• RQ4 다양한 활동 수준(냉각 상태, 예열 상태, 높은 활동 수준)을 보이는 감시자에게도 제안된 모델이 일반화되는가?
• RQ5 모델 성능이 초수치 α, β, 및 γ의 선택에 얼마나 민감한가?

주요 결과

• GAU 모델은 MF, CoFactor, BPRMF, CTR 등 네 가지 최첨단 기준 모델보다 모든 평가 지표에서 11%에서 33% 높은 성능을 기록하였다.
• GAU는 MAP 32.6%±3.4%를 기록하여 CoFactor의 NDCG 29.2%±5.8%와 MAP 32.6%±3.4%를 크게 뛰어넘었으며(p-value < 0.001), 유의미한 성능 향상을 보였다.
• 냉각 상태 감시자에 대해 GAU는 Recall@15에서 6.5%, NDCG@15에서 10.2%, MAP@15에서 12.8% 향상되었으며, CTR 대비 개선된 성능을 보였다.
• 높은 활동 수준의 감시자에 대해 GAU는 Recall@15에서 최대 10.0%, NDCG@15에서 최대 15.0%, MAP@15에서 최대 20.1% 향상되었다.
• 최적의 초수치는 α=0.06, β=0.08, γ=0.06로 확인되었으며, 이 값에서 성능이 최고조에 이르렀다.
• 모델은 모든 감시자 활동 수준에서 일관된 향상을 보였으며, 이는 강건성과 일반화 능력을 입증한다.