[論文レビュー] Talking Wikidata: Communication Patterns and Their Impact on Community Engagement in Collaborative Knowledge Graphs

Elisavet Koutsiana, Ioannis Reklos+4 more|arXiv (Cornell University)|Jun 12, 2024

Wikis in Education and Collaboration被引用数 1

ひとこと要約

本研究は、混合手法（ネットワーク分析およびグラフ／テキスト埋め込みを含む）を用いて、Wikidataの共同知識グラフコミュニティにおける通信パターンを調査する。研究では、編集者間の相互作用が、コンテンツとトポロジーの両方が会話を維持するレジリエントな小さな世界ネットワークを形成していることが明らかになった。また、長期的関与は編集者および議論の年数に強く影響を受けることが示された。

ABSTRACT

We study collaboration patterns of Wikidata, one of the world's largest open source collaborative knowledge graph (KG) communities. Collaborative KG communities, play a key role in structuring machine-readable knowledge to support AI systems like conversational agents. However, these communities face challenges related to long-term member engagement, as a small subset of contributors often is responsible for the majority of contributions and decision-making. While prior research has explored contributors' roles and lifespans, discussions within collaborative KG communities remain understudied. To fill this gap, we investigated the behavioural patterns of contributors and factors affecting their communication and participation. We analysed all the discussions on Wikidata using a mixed methods approach, including statistical tests, network analysis, and text and graph embedding representations. Our findings reveal that the interactions between Wikidata editors form a small world network, resilient to dropouts and inclusive, where both the network topology and discussion content influence the continuity of conversations. Furthermore, the account age of Wikidata members and their conversations are significant factors in their long-term engagement with the project. Our observations and recommendations can benefit the Wikidata and semantic web communities, providing guidance on how to improve collaborative environments for sustainability, growth, and quality.

研究の動機と目的

• Wikidataの編集者間における通信の構造的・行動的パターンを理解すること。
• 議論が返信を受け、関与が継続する要因を特定すること。
• 編集者特性および議論コンテンツが、共同知識グラフコミュニティにおける長期的参加に与える影響を検討すること。
• 関与と包摂性の向上を支援するツールおよび実践の推奨を通じて、コミュニティの持続的成長を促進すること。

提案手法

• 記述統計、ネットワーク分析、および仮説検定を組み合わせた混合手法分析を、議論データに対して実施。
• 編集者をノードとし、スレッドへの共同参加がエッジを形成する共議論ネットワークを構築。
• グラフ埋め込みを用いて議論ネットワークのトポロジカル構造をモデル化し、テキスト埋め込みを用いて議論コンテンツを表現。
• グラフおよびテキスト埋め込み特徴量と編集者特性（例：アカウント年数）を統合した機械学習モデルを用い、返信の可能性および関与を予測。
• クラスタリング係数および最短経路メトリクスを用いて、ネットワークの小さな世界特性を評価。
• 定性的な知見を活用し、編集者アクセス権限および貢献パターンと照合することで、研究結果を検証。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Wikidataの議論における編集者の協力の特徴は何か？
• RQ2 RQ2: 議論が返信を受ける要因は何か？
• RQ3 RQ3: 議論は編集者の関与に長期的に影響を与えるか？
• RQ4 RQ4: ネットワークトポロジーと議論コンテンツが、会話の継続性にどのように共同で影響を与えるか？
• RQ5 RQ5: 編集者アカウントの年数は、持続的参加においてどのような役割を果たすか？

主な発見

• Wikidataの議論ネットワークは小さな世界特性を示しており、高いクラスタリング係数と低い平均最短経路を有し、ドロップアウトに対しても強靱な接続性を示している。
• 議論コンテンツとネットワークトポロジーが会話の継続性に共同で影響を与え、特にトポロジカル構造が関与の維持に顕著な役割を果たしている。
• 編集者アカウントの年数および議論の年数は、長期的関与の顕著な予測要因であり、経験豊富な貢献者および長期間にわたるスレッドは、より高い持続性を示す。
• プラットフォームおよび構造の違いにもかかわらず、WikidataのネットワークはWikipediaのそれよりも密度が高く、人気のある編集者が、あまり人気のない編集者とも積極的に関与していることから、より包摂的な通信パターンが見られる。
• 編集者アクセス権限（例：管理者、ボット）は、コミュニケーションや参加に顕著な影響を及ぼさず、貢献の質や関与が形式的役割にのみ依存しているわけではないことを示している。
• 本研究では、Wikidataの議論投稿の公開データセットを生成し、関与分析のためのフレームワークを提案した。また、メンターシップ制度、投稿監視ツール、およびコミュニケーションテンプレートの推奨を通じて、新規参加者の定着を改善するための提言を行った。