[논문 리뷰] People on Media: Jointly Identifying Credible News and Trustworthy Citizen Journalists in Online Communities

Subhabrata Mukherjee, Gerhard Weikum|MPG.PuRe (Max Planck Society)|2017. 05. 07.

Misinformation and Its Impacts참고 문헌 29인용 수 29

한 줄 요약

이 논문은 언어 품질, 소스 신뢰성, 사용자 전문성, 주제 시각 간의 상호의존성을 모델링하고 세분화된 실수치 사용자 평가를 활용하여 온라인 뉴스 커뮤니티에서 신뢰할 만한 뉴스 기사, 신뢰할 만한 뉴스 소스, 전문성 있는 '시민 기자' 사용자를 동시에 식별하기 위해 연속 조건부 랜덤 필드(CCRF) 모델을 제안한다. 이 방법은 다중 신뢰성 요소 간의 복잡한 공동 상호작용을 포착함으로써 기존의 협업 필터링 및 회귀 모델보다 우수한 성능을 보인다.

ABSTRACT

Media seems to have become more partisan, often providing a biased coverage of news catering to the interest of specific groups. It is therefore essential to identify credible information content that provides an objective narrative of an event. News communities such as digg, reddit, or newstrust offer recommendations, reviews, quality ratings, and further insights on journalistic works. However, there is a complex interaction between different factors in such online communities: fairness and style of reporting, language clarity and objectivity, topical perspectives (like political viewpoint), expertise and bias of community members, and more. This paper presents a model to systematically analyze the different interactions in a news community between users, news, and sources. We develop a probabilistic graphical model that leverages this joint interaction to identify 1) highly credible news articles, 2) trustworthy news sources, and 3) expert users who perform the role of "citizen journalists" in the community. Our method extends CRF models to incorporate real-valued ratings, as some communities have very fine-grained scales that cannot be easily discretized without losing information. To the best of our knowledge, this paper is the first full-fledged analysis of credibility, trust, and expertise in news communities.

연구 동기 및 목표

• 온라인 뉴스 커뮤니티에서의 미디어 편향과 오명성 문제의 증가를 다루기 위해 체계적으로 신뢰성을 분석하는 데 목적을 둔다.
• 뉴스 기사 언어 품질, 소스 신뢰성, 사용자 전문성, 사용자 생성 평가 간의 복잡한 상호작용을 모델링하는 데 목적을 둔다.
• 각각의 신뢰성, 신뢰성, 전문성에 기반해 뉴스 기사, 소스, 사용자를 공동으로 순위 매기는 데 목적을 둔다.
• Newstrust.net과 같은 플랫폼에서 흔히 볼 수 있는 세분화된 실수치 평가를 이산화하지 않고도 정보 손실 없이 처리하는 데 목적을 둔다.
• 신뢰성 있는 객관적 평가를 제공함으로써 '시민 기자'로 기능하는 전문 사용자를 식별하는 데 목적을 둔다.

제안 방법

• 논문은 사용자로부터의 실수치 평가를 활용하여 신뢰성, 신뢰성, 전문성을 동시에 모델링하기 위해 연속 조건부 랜덤 필드(CCRF) 모델을 개발한다.
• CCRF는 전통적인 CRF 모델을 확장하여 연속적인 평가 변수를 처리함으로써 다각도 평가에서 유래한 세분화된 정보를 유지한다.
• 다음 상호작용을 포착한다: (1) 언어 객관성과 기사 신뢰성 간의 상관관계, (2) 소스 시각과 신뢰성 간의 상관관계, (3) 사용자 전문성과 평가 일관성 간의 상관관계.
• 전문성과 커뮤니티 피드백에 기반한 사용자별 가중치를 통합하여 신뢰성 신호를 정밀하게 보완한다.
• 자신들 간의 상호의존성(예: 신뢰할 만한 소스는 높은 평가를 받는 신뢰할 만한 기사를 생산하며, 이는 전문 사용자가 높게 평가함)을 모델링함으로써 자기 일관성 있는 신뢰성 신호를 생성한다.
• 모델은 각 기사당 15개의 요소 평가(예: 공정성, 사실 정확성)를 포함한 실제 뉴스 커뮤니티 데이터에서 학습되며, 이는 실수치 총합 점수로 집계된다.

실험 결과

연구 질문

• RQ1 언어 객관성, 소스 시각, 사용자 전문성이 온라인 커뮤니티에서 뉴스 기사의 신뢰성에 공동으로 영향을 미치는 방식은 어떠한가?
• RQ2 다양한 요소(예: 공정성, 스타일)에 걸쳐 실수치 평가를 사용할 경우 이산 평가에 비해 신뢰성 예측 성능이 얼마나 향상되는가?
• RQ3 일관되고 객관적인 평가를 통해 다양한 기사와 소스에 걸쳐 일관되게 평가하는 사용자를 기반으로 전문 사용자를 신뢰성 있게 식별할 수 있는가?
• RQ4 소스, 기사, 사용자 간의 상호의존성이 고립된 특징을 넘어서 전체 신뢰성 신호를 어떻게 향상시키는가?
• RQ5 CCRF를 통해 공동 상호작용을 모델링하는 것이 표준 협업 필터링 또는 회귀 기반 접근 방식보다 신뢰성 순위 매기기에서 더 우수한 성능을 보이는가?

주요 결과

• CCRF 모델은 사용자, 기사, 소스 간의 공동 상호작용을 모델링하지 않는 정교한 협업 필터링 및 회귀 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 전문 사용자가 평가한 높은 수준의 객관적인 기사들을 지속적으로 생산하는 소스를 효과적으로 식별함으로써 신뢰할 만한 뉴스 소스를 식별하는 데 성공했다.
• 일관되고 객관적인 평가를 제공하며 다른 전문 사용자와 일치하는 평가를 제공하는 사용자들이 전문 사용자로 신뢰성 있게 탐지되었으며, 이는 그들이 '시민 기자'로서의 역할을 수행함을 뒷받침한다.
• 신뢰할 만한 소스와 신뢰할 만한 기사 간에 중간 정도이지만 의미 있는 상관관계가 존재하며, 사용자 전문성이 높아질수록 이견(MSE)이 감소한다.
• 이산화하지 않은 실수치 평가의 사용은 중요한 정보를 유지하며, 평가를 분할하는 방법보다 더 정확한 신뢰성 추정을 가능하게 한다.
• 이 프레임워크는 뉴스 커뮤니티를 넘어서 건강 포럼과 같은 다른 도메인에도 일반화 가능하며, 포스트의 신뢰성, 부작용 보고서, 사용자 전문성의 공동 평가가 요구되는 분야에 적용될 수 있다.