[论文解读] How to Effectively Identify and Communicate Person-Targeting Media Bias in Daily News Consumption?

Felix Hamborg, Timo Spinde+3 more|arXiv (Cornell University)|Oct 18, 2021

Media Influence and Politics参考文献 14被引用 4

一句话总结

本论文提出了首个自动化系统，通过模拟人工内容分析，识别并传达新闻文章中针对个人的媒体偏见。在一项大规模联合实验中，该系统显著提升了用户对偏见的意识，尤其是在以句子级别可视化偏见群体和极性框架时，优于以往仅在媒体机构或文章层面检测偏见的方法。

ABSTRACT

Slanted news coverage strongly affects public opinion. This is especially true for coverage on politics and related issues, where studies have shown that bias in the news may influence elections and other collective decisions. Due to its viable importance, news coverage has long been studied in the social sciences, resulting in comprehensive models to describe it and effective yet costly methods to analyze it, such as content analysis. We present an in-progress system for news recommendation that is the first to automate the manual procedure of content analysis to reveal person-targeting biases in news articles reporting on policy issues. In a large-scale user study, we find very promising results regarding this interdisciplinary research direction. Our recommender detects and reveals substantial frames that are actually present in individual news articles. In contrast, prior work rather only facilitates the visibility of biases, e.g., by distinguishing left- and right-wing outlets. Further, our study shows that recommending news articles that differently frame an event significantly improves respondents' awareness of bias.

研究动机与目标

• 解决在政治新闻报道中识别细微、针对个人的媒体偏见的挑战，这些偏见常被自动化系统忽略。
• 开发一种自动化系统，替代此前成本过高、耗时过长的人工内容分析，以检测新闻框架中的偏见。
• 通过在单篇新闻文章中有效可视化偏见群体和极性框架，提升新闻受众对媒体偏见的认知。
• 实证测量偏见检测与可视化中哪些组件最有效地提升非专家用户对偏见的感知。
• 提供一种可扩展、模块化的解决方案，用于敏感偏见的新闻推荐，其粒度达到句子级别，而此前的工作多集中于标题或整个媒体机构。

提出的方法

• 该系统执行四项分析任务：(1) 识别针对个人的框架，(2) 按共享框架对文章进行分组，(3) 检测对个体的极性（正面/负面），(4) 使用自然语言处理技术提取并标注有偏见的句子。
• 采用模块化可视化设计，包含两个主要视图：概览视图展示偏见群体和极性语境，文章视图则通过文中高亮显示有偏见的短语。
• 系统采用联合实验设计，测量各个组件（如MFAP标签、PolSides标签）对偏见认知感知的影响。
• 借鉴既有的社会科学媒体偏见模型，特别是政治框架和内容分析理论，确保检测到的是细微的、基于内容的偏见，而非表面差异。
• 通过在Amazon Mechanical Turk上进行的大规模用户研究（N=200）对方法进行评估，匿名化数据与材料已公开发布。
• 系统基于三场真实政治事件的新闻报道进行训练与测试：美国债务上限、枪支管制和丛林大火，确保其在现实场景中的相关性。

实验结果

研究问题

• RQ1 自动化系统能否在句子级别检测针对个人的媒体偏见，而非仅限于文章或媒体机构层面？
• RQ2 哪些可视化组件——如偏见群体标签、极性指示器或文中高亮——最有效地提升用户对媒体偏见的认知？
• RQ3 推荐对同一事件采用不同框架的新闻文章，是否能显著提升用户对偏见的感知？
• RQ4 系统各独立组件（如MFAP、PolSides标签）对提升偏见认知的贡献分别是什么？
• RQ5 主题复杂度和用户人口统计特征在多大程度上调节了新闻推荐中偏见传达的有效性？

主要发现

• 该系统的概览可视化显著提升了偏见认知，当使用PolSides标签时，对偏见感知量表的估计效应值为7.83。
• 仅使用MFAP（媒体框架分析档案）可视化时，估计效应值为5.87，表明即使仅提供基础偏见标签也能提升认知。
• 不显示任何标签（MFAP (none)）时，偏见认知效应最高（6.13），表明过多的视觉提示可能降低有效性。
• 在文章视图中，仅PolSides标签具有显著正向影响（效应值2.45），而MFAP标签和极性条未表现出显著影响。
• 文中高亮数量是偏见认知的重要预测因子：高亮越多，认知水平越高，尤其在控制其他因素后更为明显。
• 主题复杂度影响了效果——受访者认为债务上限主题“过于复杂”或“无聊”，导致参与度和认知水平下降。