[论文解读] A preliminary approach to knowledge integrity risk assessment in Wikipedia projects

Pablo Aragón, Diego Sáez-Trumper|arXiv (Cornell University)|Jun 30, 2021

Wikis in Education and Collaboration参考文献 18被引用 4

一句话总结

本文提出了维基百科项目中文知识完整性风险的分类体系，并引入了一套初步的指标，用于评估内部和外部威胁，包括社区人口统计、内容可验证性以及地缘政治因素。关键发现表明，编辑贡献的地理多样性较低——尤其是在日语维基百科和埃及阿拉伯语维基百科中——与错误信息风险升高相关，凸显了建立一个可扩展、开源的知识完整性风险监测平台（Knowledge Integrity Risk Observatory）以监控和保护自由知识平台的必要性。

ABSTRACT

Wikipedia is one of the main repositories of free knowledge available today, with a central role in the Web ecosystem. For this reason, it can also be a battleground for actors trying to impose specific points of view or even spreading disinformation online. There is a growing need to monitor its "health" but this is not an easy task. Wikipedia exists in over 300 language editions and each project is maintained by a different community, with their own strengths, weaknesses and limitations. In this paper, we introduce a taxonomy of knowledge integrity risks across Wikipedia projects and a first set of indicators to assess internal risks related to community and content issues, as well as external threats such as the geopolitical and media landscape. On top of this taxonomy, we offer a preliminary analysis illustrating how the lack of editors' geographical diversity might represent a knowledge integrity risk. These are the first steps of a research project to build a Wikipedia Knowledge Integrity Risk Observatory.

研究动机与目标

• 为维基百科300多个语言版本中的知识完整性风险建立系统性分类体系。
• 识别并实现可量化的指标，用于评估内容可靠性方面的内部（社区/内容）和外部（地缘政治/媒体）威胁。
• 通过编辑地理多样性及其对知识完整性影响的案例研究，展示这些指标的实用性。
• 为维基百科知识完整性风险监测平台（Knowledge Integrity Risk Observatory）奠定基础——一个透明、社区可访问的仪表板，用于监控平台健康状况。
• 为维基媒体社区提供数据驱动的工具，以主动检测并缓解虚假信息和系统性漏洞。

提出的方法

• 开发了知识完整性风险的分层分类体系，区分内部（社区、内容）与外部（地缘政治、媒体）成因。
• 梳理现有文献与实证研究，识别出10类风险，包括社区能力、治理、人口统计和内容可验证性。
• 提出了7个类别中的14项核心指标，例如按国家划分的编辑/浏览分布的熵值、引用次数，以及文章质量的ORES评分。
• 应用基于熵的度量方法，分析大型维基百科版本（如英语、阿拉伯语、日语）中编辑者与读者的地理多样性。
• 使用纵向数据（2018年11月至2021年4月）计算并比较各国家起源的编辑与浏览的熵值。
• 设计了一个可扩展的框架，未来可纳入页面、分类或条目级别的细粒度指标，确保指标具有语言无关性且易于解释。

实验结果

研究问题

• RQ1 如何系统性地对多语言维基百科项目中的知识完整性风险进行分类与测量？
• RQ2 编辑贡献的地理多样性较低在多大程度上与内容偏见或错误信息风险增加相关？
• RQ3 哪些指标最能有效评估不同语言版本中维基百科社区的健康状况与内容可靠性？
• RQ4 如何设计一个可扩展、开放且透明的监测系统，以支持维基媒体社区保障知识完整性？
• RQ5 外部因素（如媒体报道和民主质量）在多大程度上影响维基百科上的知识完整性风险？

主要发现

• 阿拉伯语、英语和西班牙语维基百科在编辑与浏览方面均表现出较高的地理多样性，表明全球社区参与度高。
• 日语维基百科在浏览分布中表现出极低的熵值，表明全球读者覆盖面有限，存在本地化或民族主义偏见的更高风险。
• 埃及阿拉伯语维基百科在浏览熵值较高而编辑熵值较低之间存在显著错配，表明可能存在外国或机器人驱动的内容消费，但缺乏本地贡献。
• 宿务语和瓦拉语维基百科表现出高编辑熵值但低浏览熵值，可能源于全球分布的机器人活动，而非有机的社区参与。
• 印度尼西亚语、波兰语、韩语和越南语维基百科在编辑与浏览方面均表现出较低的地理多样性，表明可能因全球视角有限而存在系统性风险。
• 本研究证明，基于地理分布的熵值度量在大型语言版本中是知识完整性风险的有效早期预警指标。