[論文レビュー] A preliminary approach to knowledge integrity risk assessment in Wikipedia projects

Pablo Aragón, Diego Sáez-Trumper|arXiv (Cornell University)|Jun 30, 2021

Wikis in Education and Collaboration参考文献 18被引用数 4

ひとこと要約

本論文は、ウィキペディアプロジェクトにおける知識整合性リスクの分類を提唱し、コミュニティの人口統計、コンテンツの検証可能性、地理政治的要因を含む、内部的および外部的脅威を評価するための初期の指標群を導入する。主な発見として、特に日本語版およびエジプト・アラビア語版ウィキペディアにおける編集者の地理的多様性の低さが、誤情報のリスクの上昇と相関していることが示され、自由知識プラットフォームを監視・保護するためのスケーラブルでオープンソースの知識整合性リスク観測所の必要性が浮き彫りになった。

ABSTRACT

Wikipedia is one of the main repositories of free knowledge available today, with a central role in the Web ecosystem. For this reason, it can also be a battleground for actors trying to impose specific points of view or even spreading disinformation online. There is a growing need to monitor its "health" but this is not an easy task. Wikipedia exists in over 300 language editions and each project is maintained by a different community, with their own strengths, weaknesses and limitations. In this paper, we introduce a taxonomy of knowledge integrity risks across Wikipedia projects and a first set of indicators to assess internal risks related to community and content issues, as well as external threats such as the geopolitical and media landscape. On top of this taxonomy, we offer a preliminary analysis illustrating how the lack of editors' geographical diversity might represent a knowledge integrity risk. These are the first steps of a research project to build a Wikipedia Knowledge Integrity Risk Observatory.

研究の動機と目的

• ウィキペディアの300以上の言語版にわたる知識整合性リスクを体系的に分類すること。
• コンテンツ信頼性に影響を及ぼす内部的（コミュニティ／コンテンツ）および外部的（地理政治的／メディア）脅威を特定し、測定可能な指標に定式化すること。
• 編集者の地理的多様性とその知識整合性への影響を事例研究を通じて示し、これらの指標の有効性を検証すること。
• ウィキペディア知識整合性リスク観測所—透明性が保たれ、コミュニティがアクセス可能なダッシュボード—を構築する基盤を築くこと。
• ウィキメディアコミュニティが、事前に誤情報やシステム的脆弱性を検出・緩和できるように、データドリブンなツールを提供すること。

提案手法

• 内部的（コミュニティ、コンテンツ）および外部的（地理政治的、メディア）要因に起因する知識整合性リスクの階層的分類を構築した。
• 既存の文献および実証的研究をマッピングし、コミュニティの能力、ガバナンス、人口統計、コンテンツの検証可能性を含む10のリスクカテゴリーを同定した。
• 編集・閲覧の国別分布のエントロピー、引用数、および記事品質のORESスコアなど、7つのカテゴリーにまたがる14のコア指標を提案した。
• エントロピーに基づく指標を用いて、英語版、アラビア語版、日本語版など大規模ウィキペディア版における編集者および読者の地理的多様性を分析した。
• 2018年11月から2021年4月までの縦断的データを用い、国別に編集および閲覧のエントロピー値を算出し、比較した。
• 今後、ページ、カテゴリ、記事レベルでの細分化された指標を含めるためのフレームワークを設計し、言語に依存しないかつ解釈可能な指標を保証した。

実験結果

リサーチクエスチョン

• RQ1 多言語ウィキペディアプロジェクトにおける知識整合性リスクを、どのように体系的に分類・測定できるか？
• RQ2 編集者の地理的多様性が低い場合、コンテンツバイアスや誤情報のリスクがどの程度上昇するか？
• RQ3 異なる言語版において、ウィキペディアコミュニティの健全性とコンテンツ信頼性を評価するうえで、最も有用な指標は何か？
• RQ4 ウィキメディアコミュニティが知識整合性を守るために支援できる、スケーラブルでオープンかつ透明な監視システムをどのように設計できるか？
• RQ5 メディア報道や民主主義の質といった外部要因が、ウィキペディアにおける知識整合性リスクに果たす役割は何か？

主な発見

• アラビア語版、英語版、スペイン語版ウィキペディアは、編集および閲覧の両方で高い地理的多様性を示しており、グローバルなコミュニティ参加が確認された。
• 日本語ウィキペディアは、閲覧分布のエントロピーが極めて低く、グローバルな読者層が限定的で、地域的・ナショナリスト的バイアスのリスクが高まっている可能性を示している。
• エジプト・アラビア語版ウィキペディアは、高い閲覧エントロピーと低い編集エントロピーの著しい不一致を示しており、地域外またはボットによるコンテンツ閲覧が行われている可能性がある。
• セブアノ語版およびワラヤ・ワラヤ語版ウィキペディアは、高い編集エントロピーと低い閲覧エントロピーを示しており、おそらく有機的なコミュニティ参加ではなく、グローバルに分散したボット活動によるものと考えられる。
• インドネシア語版、ポーランド語版、韓国語版、ベトナム語版ウィキペディアは、編集および閲覧の両方で地理的多様性が低く、グローバル視点の欠如に起因するシステム的リスクの可能性がある。
• 本研究は、エントロピーに基づく地理的分布指標が、大規模言語版における知識整合性リスクの効果的な早期警戒インジケーターであることを示した。