[論文レビュー] Dynamics of Content Quality in Collaborative Knowledge Production

Emilio Ferrara, Nazanin Alipourfard+3 more|arXiv (Cornell University)|Jun 10, 2017

Expert finding and Q&A systems被引用数 7

ひとこと要約

本研究は、2008年から2014年までのStack Exchangeデータを用いて、共同知識生産におけるコンテンツ品質のダイナミクスを分析する。ユーザーのセッション内では一時的な品質低下が見られる（回答の長さが短くなり、リンクやコード行の数が減少し、受容率も低下）が、長期的なユーザーの経験年数が著しく高い品質を生み出すことから、疲労と学習の両方がユーザーのパフォーマンスに影響を与えていることが示唆される。

ABSTRACT

We explore the dynamics of user performance in collaborative knowledge production by studying the quality of answers to questions posted on Stack Exchange. We propose four indicators of answer quality: answer length, the number of code lines and hyperlinks to external web content it contains, and whether it is accepted by the asker as the most helpful answer to the question. Analyzing millions of answers posted over the period from 2008 to 2014, we uncover regular short-term and long-term changes in quality. In the short-term, quality deteriorates over the course of a single session, with each successive answer becoming shorter, with fewer code lines and links, and less likely to be accepted. In contrast, performance improves over the long-term, with more experienced users producing higher quality answers. These trends are not a consequence of data heterogeneity, but rather have a behavioral origin. Our findings highlight the complex interplay between short-term deterioration in performance, potentially due to mental fatigue or attention depletion, and long-term performance improvement due to learning and skill acquisition, and its impact on the quality of user-generated content.

研究の動機と目的

• 共同知識生産におけるユーザーのパフォーマンスが時間とともにどのように変化するかを理解すること。
• 短期的なセッション内ダイナミクスと長期的なユーザー経験年数が、コンテンツ品質に独立して影響を与えるかどうかを調査すること。
• パフォーマンスの低下が認知的要因（疲労など）か行動の多様性に起因するかを特定すること。
• 経験豊富なユーザーが初心者よりも一貫して高い品質のコンテンツを生成するかどうかを評価すること。
• リアルタイムでユーザーのパフォーマンスを監視・最適化する知能システムの設計を支援すること。

提案手法

• 時間のギャップに基づいてユーザー行動をセッションに分割し、短期的な行動パターンを分離する。
• 回答品質の4つの定量的指標（長さ、コード行数、ハイパーリンク数、質問投稿者が採用した割合）を用いる。
• ユーザーの経験年数ごとに10等分に分け、長期的なパフォーマンスの傾向を分析する。
• 同じセッション長さ内で初心者とベテランユーザーのパフォーマンスを比較し、経験の影響を隔離する。
• セッション順序と経験年数に伴う品質指標の傾向を検出するために統計解析を適用する。
• セッション内での作業量が類似するユーザー同士を比較することで、データの多様性を制御する。

実験結果

リサーチクエスチョン

• RQ1 1つのユーザーのセッション内で、回答品質はどのように変化するか？
• RQ2 長期的なユーザーの経験年数は、回答の品質にどのように影響するか？
• RQ3 初心者とベテランユーザーは、短期的なパフォーマンスの低下を同じように示すか？
• RQ4 ユーザーの経験が短期的な品質低下を緩和するか、あるいは悪化を助長するか、その程度はどの程度か？
• RQ5 認知的要因（疲労、注意の枯渇など）は、コンテンツ品質のダイナミクスにおいてどのような役割を果たすか？

主な発見

• 1つのセッション内で、後続の回答は短くなり、コード行数やハイパーリンク数も減少し、受容されにくくなる。これは短期的なパフォーマンスの低下を示している。
• ベテランユーザーは、セッション内の最初の回答で39%の受容率を示すが、初心者では22%にとどまり、相対差は40%に達する。
• ベテランユーザーの回答は平均72語であるのに対し、初心者は60語で、長さの差は20%に上る。
• コード行数とハイパーリンク数の平均値についても、ベテランユーザーは初心者より20%高い値を示している。
• 長時間のセッションにおいても、ベテランユーザーの最後の回答は、初心者の最初の回答よりも品質が高く、経験の長期的優位性が顕著に現れている。
• ユーザー経験年数が増加するにつれて、すべての品質指標に上行傾向が見られ、上位10%のベテランユーザーの回答の40%が受容された一方、最も経験の浅いユーザーでは25%にとどまった。