[論文レビュー] Assessing the Quality of Wikipedia Pages Using Edit Longevity and Contributor Centrality

Xiangju Qin, Pádraig Cunningham|arXiv (Cornell University)|Jun 12, 2012

Wikis in Education and Collaboration参考文献 19被引用数 7

ひとこと要約

本稿では、編集の持続期間（個々の貢献者の努力を測定）とネットワーク中央性（Wikipediaのトークや共同執筆ネットワークにおける貢献者の権威を定量化）を組み合わせることで、Wikipedia記事の品質を評価する手法を提案する。結果として、貢献者の中央性を組み込むことで品質予測が著しく向上し、特に高品質な「スターター」および「スタブ」記事の特定において、精度・再現率分析でベースラインを上回る最良のモデルが得られた。

ABSTRACT

In this paper we address the challenge of assessing the quality of Wikipedia pages using scores derived from edit contribution and contributor authoritativeness measures. The hypothesis is that pages with significant contributions from authoritative contributors are likely to be high-quality pages. Contributions are quantified using edit longevity measures and contributor authoritativeness is scored using centrality metrics in either the Wikipedia talk or co-author networks. The results suggest that it is useful to take into account the contributor authoritativeness when assessing the information quality of Wikipedia content. The percentile visualization of the quality scores provides some insights about the anomalous articles, and can be used to help Wikipedia editors to identify Start and Stub articles that are of relatively good quality.

研究の動機と目的

• ユーザーがコンテンツの信頼性を把握できない状況におけるWikipedia記事の品質評価の課題に対処すること。
• ネットワーク中央性で測定される貢献者の権威が、単なる編集貢献量を超えて品質評価を改善するかどうかを調査すること。
• 形式的な分類が低く、見過ごされがちな高品質な「スターター」および「スタブ」記事を特定すること。
• 編集履歴と貢献者のネットワーク的影響を両方活用した品質スコアリングモデルの開発。
• 編集者が品質スコアの百分位数に基づいて、レビューが必要な記事を優先順位付けできるツールの提供。

提案手法

• 編集の持続期間は、貢献者がページの編集に費やす累積時間を計算することで算出され、継続的な努力を反映する。
• 貢献者の権威は、Wikipediaトークネットワークおよび共同執筆ネットワークにおける次数中央性、近接中央性、PageRank中央性を用いて測定される。
• 各ページの貢献者ごとに、編集の持続期間と中央性指標を組み合わせた複合品質スコアが生成される。
• 3つのモデルが評価された：編集の持続期間のみに基づくモデル、PageRank中央性に基づくモデル、両者を統合した複雑なモデル。
• モデルは、WikiProject Historyから抽出した9,290件の歴史関連Wikipedia記事を対象にテストされ、二値の関連性設定（FA、A、GA 対　スターター、スタブ）が採用された。
• モデルの性能評価には、精度・再現率曲線が用いられ、比較のためNDCGおよびF1スコアが報告された。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク中央性で測定される貢献者の権威は、Wikipedia記事の品質予測を向上させることができるか？
• RQ2 編集の持続期間とネットワーク中央性を組み合わせることで、品質評価モデルの正確性はどのように向上するか？
• RQ3 品質スコアは、現在の評価が不足している高品質なスターターおよびスタブ記事をどの程度特定できるか？
• RQ4 次数、近接、PageRankといった異なる中央性指標は、記事の品質予測においてどのように比較されるか？
• RQ5 再編集（reverted edits）が履歴に支配的である場合、現在の編集貢献量の測定方法にどのような限界があるか？

主な発見

• 編集の持続期間と貢献者の中央性を両方統合した複雑なモデルが、精度・再現率分析で最高のパフォーマンスを示し、編集の持続期間のみまたはPageRank中央性のみに依存するモデルを上回った。
• PageRankベースのモデルは、持続期間ベースのモデルに比べてわずかに低いパフォーマンスを示した。これは、中央性指標のみでは、統合された指標に比べて効果が劣ることを示唆している。
• 品質スコアの百分位数可視化により、異常な記事（高品質なスターターおよびスタブ記事）が特定され、改善の優先順位付けが可能となった。
• 本研究では、再編集（例：悪意ある編集後に元に戻した場合）が、編集の持続期間スコアを歪め、誤った貢献者貢献評価を引き起こす可能性があることが判明した。
• 支配的となる単一の貢献者によるバイアスを軽減するため、|A_p| ≥ K の制約が適用され、より多くの貢献者を含めるようにした。特に再編集活動が活発なページで有効であった。
• 結果から、高品質なWikipedia記事は、継続的な貢献と、協働ネットワークにおける権威ある貢献者の活発な参加の両方を特徴づけることが示唆された。