[論文レビュー] Mind Your POV: Convergence of Articles and Editors Towards Wikipedia's Neutrality Norm

Umashanthi Pavalanathan, Xiaochuang Han+1 more|arXiv (Cornell University)|Sep 18, 2018

Wikis in Education and Collaboration参考文献 68被引用数 9

ひとこと要約

本研究は、7,500件のNPOVタグ付き記事を対象に中断時系列分析を用いて、ウィキペディアの中立的立場（NPOV）タグシステムが規範の強制メカニズムとして効果的であるかを検証する。NPOVタグ付けは偏った言語使用を顕著に減少させるが、修正後やトークページでの議論を経ても、個々の編集者の書きかたに統計的に有意な影響は認められない。

ABSTRACT

Wikipedia has a strong norm of writing in a 'neutral point of view' (NPOV). Articles that violate this norm are tagged, and editors are encouraged to make corrections. But the impact of this tagging system has not been quantitatively measured. Does NPOV tagging help articles to converge to the desired style? Do NPOV corrections encourage editors to adopt this style? We study these questions using a corpus of NPOV-tagged articles and a set of lexicons associated with biased language. An interrupted time series analysis shows that after an article is tagged for NPOV, there is a significant decrease in biased language in the article, as measured by several lexicons. However, for individual editors, NPOV corrections and talk page discussions yield no significant change in the usage of words in most of these lexicons, including Wikipedia's own list of 'words to watch.' This suggests that NPOV tagging and discussion does improve content, but has less success enculturating editors to the site's linguistic norms.

研究の動機と目的

• ウィキペディアのNPOVタグシステムが、記事内の偏った言語使用を低減する影響を評価すること。
• NPOVの修正および関連するトークページでの議論が、個々の編集者が中立的な書きかたを採用するかどうかを評価すること。
• オンライン共同作業コミュニティにおける規範強制メカニズムが、コミュニティの言語基準への統合をどのように促進するかを理解すること。
• 実証データを用いて、記事レベルおよび編集者レベルにおけるNPOVタグ付けの因果的影響を検証すること。
• オンライン知識プラットフォームにおける言語規範強制の設計に、証拠に基づいた知見を提供すること。

提案手法

• 2013年の「NPOV懸念あり」カテゴリのスナップショットから、7,498件のNPOVタグ付きウィキペディア記事のコーパスを構築した。
• 記事にNPOVタグが初めて付与された最初の修正を、介入のタイミング（処置点）として特定した。
• 中斷時系列（ITS）分析を用い、タグ付け前の偏った言語使用とタグ付け後の変化を測定し、処置後の傾きを主なアウトカムとした。
• 「ウォッチリスト語彙」、ヘッジ語、断定語、事実語、含意語、報道動詞、強調的／弱めの主観語など、複数の語彙を用いて偏った言語使用を定量化した。
• 編集者がNPOV問題を修正した修正履歴を特定し、その前後における言語使用の変化を分析することで、編集者レベルでの変化を追跡した。
• 複数比較のためのBenjamini-Hochberg補正を適用し、3年以上にわたる論争を経験した記事を除外するなど、妥当性の検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: NPOVタグ付けは、偏った言語使用の低減に、記事レベルでどのような効果をもたらすか？
• RQ2 RQ2a: NPOVの修正は、個々の編集者の書きかたにどのような影響を及ぼすか？
• RQ3 RQ2b: NPOVの修正は、編集者がトークページ議論に参加する意欲にどのような影響を及ぼすか？
• RQ4 RQ2: NPOVの修正は、特に中立的な書きかたへの移行を、編集者の言語使用に測定可能な変化をもたらすか？
• RQ5 RQ3: 長期間にわたる論争は、NPOVタグ付けの効果にどのような影響を及ぼすか？

主な発見

• NPOVタグ付けは、複数の語彙で偏った言語使用が顕著に減少することが統計的に有意に示された。40回の修正後には「ウォッチリスト語彙」のカバー率が5.23%低下した。
• 「事実語」と「含意語」を除く、主な語彙すべてでタグ付け後の偏った言語使用の傾きが有意に低下したが、これら2語彙では有意な変化が認められなかった。
• 個々の編集者について、NPOVの修正が、ウィキペディア独自の「ウォッチリスト語彙」を含む、テストされたすべての語彙において言語使用に統計的に有意な影響を及ぼさなかった。
• 修正に加えトークページでの議論やメール通知を伴った場合でも、編集者の書きかたの変化は観察されなかった。
• 妥当性の検証により、3年以上にわたる論争を経験した記事を除外しても、記事レベルでの効果は依然として有意であった。
• 本研究では、システムが記事の質を向上させることに成功している一方で、編集者がウィキペディアの言語的規範を内省的に受け入れるには至らず、規範の内面化にギャップがあることが示された。