[论文解读] Assessing the Quality of Wikipedia Pages Using Edit Longevity and Contributor Centrality

Xiangju Qin, Pádraig Cunningham|arXiv (Cornell University)|Jun 12, 2012

Wikis in Education and Collaboration参考文献 19被引用 7

一句话总结

本文提出了一种通过结合编辑持久性（衡量单个贡献者的努力）与网络中心性（量化贡献者在维基百科讨论或合作者网络中的权威性）来评估维基百科文章质量的方法。结果表明，引入贡献者中心性显著提升了质量预测效果，最佳表现的模型在精确率-召回率分析中优于基线模型，尤其在识别高质量的‘初级’和‘草稿’文章方面表现突出。

ABSTRACT

In this paper we address the challenge of assessing the quality of Wikipedia pages using scores derived from edit contribution and contributor authoritativeness measures. The hypothesis is that pages with significant contributions from authoritative contributors are likely to be high-quality pages. Contributions are quantified using edit longevity measures and contributor authoritativeness is scored using centrality metrics in either the Wikipedia talk or co-author networks. The results suggest that it is useful to take into account the contributor authoritativeness when assessing the information quality of Wikipedia content. The percentile visualization of the quality scores provides some insights about the anomalous articles, and can be used to help Wikipedia editors to identify Start and Stub articles that are of relatively good quality.

研究动机与目标

• 为解决用户在无法了解内容可靠性的情况下评估维基百科文章质量的挑战。
• 探究通过网络中心性衡量的贡献者权威性是否能超越仅依赖编辑贡献的评估方式，提升质量评估效果。
• 识别因分类等级较低而可能被忽视的高质量‘初级’和‘草稿’文章。
• 开发一种结合编辑历史与贡献者网络影响力的评分模型。
• 为编辑提供一种工具，根据质量得分百分位数优先处理需要审查的文章。

提出的方法

• 编辑持久性计算为贡献者花费在编辑某一页的累计时间，反映其持续投入的努力。
• 贡献者权威性通过维基百科讨论网络和合作者网络中的度数、接近度和PageRank中心性进行衡量。
• 通过将每位贡献者的编辑持久性与中心性指标相结合，为每篇文章生成综合质量得分。
• 评估了三种模型：仅基于编辑持久性的模型、仅基于PageRank中心性的模型，以及整合两者的复杂模型。
• 在来自WikiProject History的9,290篇历史相关维基百科文章上测试模型，采用二元相关性设置（FA、A、GA 与 Start、Stub 对比）。
• 使用精确率-召回率曲线评估模型性能，并报告NDCG和F1分数以供比较。

实验结果

研究问题

• RQ1 通过网络中心性衡量的贡献者权威性是否能提升维基百科文章质量的预测能力？
• RQ2 将编辑持久性与网络中心性结合，如何影响质量评估模型的准确性？
• RQ3 质量评分在多大程度上能够识别出当前被低估的高质量‘初级’和‘草稿’文章？
• RQ4 在预测文章质量方面，不同中心性度量（度数、接近度、PageRank）的性能如何比较？
• RQ5 当回退编辑占主导时，当前编辑贡献度量方法存在哪些局限性？

主要发现

• 整合编辑持久性与贡献者中心性的复杂模型在精确率-召回率分析中表现最佳，优于仅基于编辑持久性或PageRank的模型。
• 基于PageRank的模型表现略低于基于持久性的模型，表明仅靠中心性度量的效果不如结合度量的方法。
• 质量得分的百分位数可视化揭示了异常文章，包括高质量的‘初级’和‘草稿’文章，可优先进行改进。
• 研究发现，回退编辑（如在恶意编辑后恢复页面）会扭曲编辑持久性得分，导致对贡献者投入的误判。
• 为减少主导单个贡献者带来的偏差，特别是在高回退活动的页面中，应用了约束条件 |A_p| ≥ K 以纳入更多贡献者。
• 结果表明，高质量的维基百科文章通常兼具持续的贡献与权威贡献者在协作网络中的积极参与。