[论文解读] Mind Your POV: Convergence of Articles and Editors Towards Wikipedia's Neutrality Norm

Umashanthi Pavalanathan, Xiaochuang Han+1 more|arXiv (Cornell University)|Sep 18, 2018

Wikis in Education and Collaboration参考文献 68被引用 9

一句话总结

本研究利用7,500篇NPOV标记文章的中断时间序列分析，检验了维基百科中立观点（NPOV）标记系统作为规范执行机制的有效性。研究发现，NPOV标记显著减少了文章中的偏见语言，但对单个编辑写作风格的影响在统计上不显著，即使在修正错误和讨论页交流后亦然。

ABSTRACT

Wikipedia has a strong norm of writing in a 'neutral point of view' (NPOV). Articles that violate this norm are tagged, and editors are encouraged to make corrections. But the impact of this tagging system has not been quantitatively measured. Does NPOV tagging help articles to converge to the desired style? Do NPOV corrections encourage editors to adopt this style? We study these questions using a corpus of NPOV-tagged articles and a set of lexicons associated with biased language. An interrupted time series analysis shows that after an article is tagged for NPOV, there is a significant decrease in biased language in the article, as measured by several lexicons. However, for individual editors, NPOV corrections and talk page discussions yield no significant change in the usage of words in most of these lexicons, including Wikipedia's own list of 'words to watch.' This suggests that NPOV tagging and discussion does improve content, but has less success enculturating editors to the site's linguistic norms.

研究动机与目标

• 评估维基百科NPOV标记系统在减少文章中偏见语言方面的效果。
• 评估NPOV修正及相关的讨论页交流是否促使单个编辑采纳中立写作风格。
• 理解在线协作社区中的规范执行机制如何推动语言规范趋同。
• 利用实证数据检验NPOV标记在文章和编辑层面的因果效应。
• 为在线知识平台的语言规范执行机制设计提供基于证据的见解。

提出的方法

• 从2013年‘NPOV争议’分类的快照中构建了7,498篇NPOV标记维基百科文章的语料库。
• 将首次为文章添加NPOV标记的修订版本确定为处理点，作为干预时间点。
• 应用中断时间序列（ITS）分析，测量标记前后偏见语言使用的改变，以处理后斜率为关键结果指标。
• 使用多个词表量化偏见语言，包括‘关注词’、Hedges、Assertives、Factives、Implicatives、Report Verbs，以及强/弱主观词。
• 通过识别编辑修正NPOV问题的修订版本，追踪其层面的变化，并分析其修正前后的语言使用情况。
• 通过排除争议持续超过三年的文章，并应用Benjamini-Hochberg校正进行多重比较，开展稳健性检验。

实验结果

研究问题

• RQ1 RQ1：NPOV标记在文章层面减少偏见语言的效果如何？
• RQ2 RQ2a：NPOV修正对单个编辑写作风格有何影响？
• RQ3 RQ2b：NPOV修正对编辑参与讨论页交流的影响如何？
• RQ4 RQ2：NPOV修正是否导致编辑语言使用可测量的变化，特别是向中立写作风格的转变？
• RQ5 RQ3：长期争议如何影响NPOV标记效应的观测结果？

主要发现

• NPOV标记在多个词表中均显著降低了偏见语言使用，40次修订后‘关注词’覆盖率下降5.23%。
• 除‘Factives’和‘Implicatives’外，所有主要词表在标记后偏见语言使用斜率均显著下降，这两类未显示显著变化。
• 对于单个编辑，NPOV修正在所有测试词表中均未显示出对其语言使用的统计显著影响，包括维基百科自身的‘关注词’列表。
• 即使在修正与讨论页交流及邮件提示结合的情况下，也未观察到编辑写作风格的显著变化。
• 稳健性检验表明，排除争议持续超过三年的文章后，文章层面的效果依然显著。
• 研究发现，尽管该系统提升了文章质量，却未能使编辑内化维基百科的语言规范，表明规范内化存在缺口。