[논문 리뷰] MediaRank: Computational Ranking of Online News Sources

Junting Ye, Steven Skiena|arXiv (Cornell University)|2019. 03. 18.

Misinformation and Its Impacts참고 문헌 29인용 수 8

한 줄 요약

MediaRank는 네 가지 계산 기반 지표인 동료 평판, 보도 편향 및 포괄성, 재정적 압박, 인기도를 사용하여 전 세계 50,000개 이상의 온라인 뉴스 소스를 자동으로 정렬하는 완전 자동화되고 해석 가능한 시스템을 제안한다. 기존 전문가 평가와 강한 상관관계(35개 전문가 평가 중 34개에서 피어슨 ρ = 0.57, p < 0.05)를 보이며, 동시에 소셜 봇 탐지 및 공격적인 광고 배치 탐지에 새로운 방법을 도입한다.

ABSTRACT

In the recent political climate, the topic of news quality has drawn attention both from the public and the academic communities. The growing distrust of traditional news media makes it harder to find a common base of accepted truth. In this work, we design and build MediaRank (www.media-rank.com), a fully automated system to rank over 50,000 online news sources around the world. MediaRank collects and analyzes one million news webpages and two million related tweets everyday. We base our algorithmic analysis on four properties journalists have established to be associated with reporting quality: peer reputation, reporting bias / breadth, bottomline financial pressure, and popularity. Our major contributions of this paper include: (i) Open, interpretable quality rankings for over 50,000 of the world's major news sources. Our rankings are validated against 35 published news rankings, including French, German, Russian, and Spanish language sources. MediaRank scores correlate positively with 34 of 35 of these expert rankings. (ii) New computational methods for measuring influence and bottomline pressure. To the best of our knowledge, we are the first to study the large-scale news reporting citation graph in-depth. We also propose new ways to measure the aggressiveness of advertisements and identify social bots, establishing a connection between both types of bad behavior. (iii) Analyzing the effect of media source bias and significance. We prove that news sources cite others despite different political views in accord with quality measures. However, in four English-speaking countries (US, UK, Canada, and Australia), the highest ranking sources all disproportionately favor left-wing parties, even when the majority of news sources exhibited conservative slants.

연구 동기 및 목표

• 글로벌 스케일에서 온라인 뉴스 소스를 자동으로 순위 매길 수 있는 확장 가능한 시스템을 개발하기 위해.
• 계산 신호를 사용하여 뉴스 미디어의 핵심 품질 지표를 식별하고 측정하기 위해.
• 다양한 언어와 지역에서 35개의 전문가가 정리한 뉴스 순위와의 비교를 통해 시스템을 검증하기 위해.
• 재정적 압박과 위성 정보 확산과 같은 위조 정보 행동(예: 봇 기반 트래픽, 공격적인 광고 배치)을 탐지하고 정량화하기 위해.
• 뉴스 소스 순위에서의 정치적 편향을 분석하고 품질 인식에 미치는 영향을 평가하기 위해.

제안 방법

• 뉴스 기사에서 보고서 인용 그래프를 구축하고, 페이지랭크 점수를 계산하여 동료 평판을 측정한다.
• 대규모 뉴스 코퍼스에서 좌익 및 우익 정치 인물에 대한 감성 차이를 사용하여 정치적 편향을 정량화한다.
• 유명인 언급 수를 세어 주제 다양성을 평가함으로써 보도 포괄성을 측정한다.
• 네트워크 행동 분석을 통해 소셜 봇을 탐지하고, 광고 배치 및 밀도 지표를 통해 광고의 공격성 수준을 정량화한다.
• 신호를 복합적으로 조합하여 정규화된 [0,1] 범위의 종합 MediaRank 점수를 생성하며, 개별 지표의 백분위수를 통해 해석 가능성을 확보한다.
• 스피어만 상관계수와 통계적 유의성 검정을 사용하여 35개의 전문가 순위와의 비교를 통해 순위를 검증한다.

실험 결과

연구 질문

• RQ1 다양한 언어와 지역에서 계산 기반 신호가 전문가가 검증한 뉴스 소스 품질을 얼마나 잘 예측할 수 있는가?
• RQ2 동료 평판, 편향, 재정적 압박, 인기도가 각각 뉴스 품질을 얼마나 독립적으로 예측할 수 있는가?
• RQ3 자동으로 탐지된 소셜 봇과 공격적인 광고 배치가 뉴스 무결성의 신뢰할 수 있는 지표가 될 수 있는가?
• RQ4 영어권 국가에서 상위 랭킹 뉴스 소스가 전체적으로 보수적 성향을 띠는 미디어 환경임에도 불구하고 왜 좌익 정치적 시각을 지나치게 선호하는가?
• RQ5 예를 들어 높은 평판이지만 광고 관행은 열 劣한 신호 조합이 최종 순위에 어떤 영향을 미치는가?

주요 결과

• MediaRank 점수는 35개 전문가 순위 중 34개와 양의 상관관계가 있으며, 평균 스피어만 상관계수는 0.57(통계적 유의성 p < 0.05를 만족하는 24개 순위)이다.
• 통계적으로 유의미한 24개의 전문가 순위에서 시스템은 평균 순위 품질 점수 0.63을 기록하여 인간 전문가 평가와 강한 일치를 보였다.
• 높은 동료 평판과 넓은 주제 커버리지가 있는 뉴스 소스는 중간 정도의 정치적 편향이 있더라도 일관되게 높은 순위를 차지한다.
• 더니 메일은 평판과 포괄성에서 높은 순위를 차지했지만, 공격적인 광고 배치로 인해 순위가 하향 조정되어 재정적 압박 신호에 대한 시스템의 민감도를 입증한다.
• 미국, 영국, 캐나다, 호주에서는 상위 랭king 소스가 일관되게 좌익 정당을 지지하는 경향을 보이며, 전체적으로 보수적 성향을 띠는 미디어 환경임에도 불구하고 고품질 소스 선정에 체계적인 편향이 존재함을 시사한다.
• 시스템은 소셜 봇을 성공적으로 식별했고, 봇 존재와 공격적 광고 간의 상관관계를 확인하여 조작된 비정상적 행동과 수익화 압박 간의 새로운 연결 고리를 확립했다.