[論文レビュー] The Size Conundrum: Why Online Knowledge Markets Can Fail at Scale

Himel Dev, Chase Geigle+3 more|arXiv (Cornell University)|Dec 1, 2017

Expert finding and Q&A systems参考文献 42被引用数 4

ひとこと要約

この論文は、コブ＝ダグラス生産関数を用いて、StackExchangeコミュニティ型質問応答サイトを知識市場としてモデル化し、コンテンツ生成のダイナミクスを分析する。大規模な市場では規模の不経済が生じやすく、健康度の指標（回答率など）が規模の拡大に伴い低下する傾向がある。これは限界収益の減少と、高参加ユーザーの非比例的スケーリングに起因し、サイト運営者にはコミュニティ規模に応じたインcentive設計が求められる。

ABSTRACT

In this paper, we interpret the community question answering websites on the StackExchange platform as knowledge markets, and analyze how and why these markets can fail at scale. A knowledge market framing allows site operators to reason about market failures, and to design policies to prevent them. Our goal is to provide insights on large-scale knowledge market failures through an interpretable model. We explore a set of interpretable economic production models on a large empirical dataset to analyze the dynamics of content generation in knowledge markets. Amongst these, the Cobb-Douglas model best explains empirical data and provides an intuitive explanation for content generation through concepts of elasticity and diminishing returns. Content generation depends on user participation and also on how specific types of content (e.g. answers) depends on other types (e.g. questions). We show that these factors of content generation have constant elasticity---a percentage increase in any of the inputs leads to a constant percentage increase in the output. Furthermore, markets exhibit diminishing returns---the marginal output decreases as the input is incrementally increased. Knowledge markets also vary on their returns to scale---the increase in output resulting from a proportionate increase in all inputs. Importantly, many knowledge markets exhibit diseconomies of scale---measures of market health (e.g., the percentage of questions with an accepted answer) decrease as a function of number of participants. The implications of our work are two-fold: site operators ought to design incentives as a function of system size (number of participants); the market lens should shed insight into complex dependencies amongst different content types and participant actions in general social networks.

研究の動機と目的

• ユーザー数の増加にもかかわらず、StackExchangeのような大規模オンライン知識市場が健康を維持できなくなる理由を理解すること。
• 経済的生産関数を用いて、コミュニティ型質問応答（CQA）プラットフォームにおけるコンテンツ生成ダイナミクスをモデル化すること。
• システム規模の拡大に伴い、市場の健康度指標がどのように悪化するかを特定すること。
• サイト運営者に、コミュニティ規模に応じたインcentive設計のための知見を提供すること。

提案手法

• 経済的生産関数を用いて、StackExchangeにおけるコンテンツ生成を生産プロセスとしてモデル化する。
• 予測精度を最適化するため、複数の関数形（例：コブ＝ダグラス、線形、べき乗）をテストし、コンテンツ出力（質問、回答、コメント）を予測する。
• 125のStackExchangeサイトからの実証データを用いた予測タスクを通じて、最適なモデル構造を同定する。
• コブ＝ダグラスモデルを用いて、弾力性、限界収益の減少、規模の収益性を分析する。
• 参加行動パターン（特に参加のべき乗則分布）を分析し、スケーリングの失敗を説明する。
• 回答の割合や、1件の質問に対する回答数といった指標を用いて、市場の健康度を測定する。

実験結果

リサーチクエスチョン

• RQ1 知識市場の規模が、その健康状態やコンテンツ生成効率にどのように影響するか？
• RQ2 大規模CQAプラットフォームにおけるコンテンツ生成ダイナミクスを最もよく説明する経済的生産モデルは何か？
• RQ3 ユーザー参加やコンテンツの依存関係といった要因は、知識市場において一定の弾力性を示すか、それとも限界収益の減少を示すか？
• RQ4 知識市場は規模の不経済を示すか。すなわち、規模が大きくなると健康度指標が低下するか？
• RQ5 ユーザー参加の分布（特に高参加ユーザー）は、システム規模に伴いどのようにスケーリングするか？

主な発見

• コブ＝ダグラスモデルが、125のStackExchangeサイトにおけるコンテンツ生成の予測に最も適している。これは、ユーザー参加とコンテンツ依存関係に一定の弾力性があることを示唆する。
• 多くのStackExchange市場で規模の不経済が観察され、質問に回答が受け入れられる割合といった健康度指標が、ユーザー数の増加に伴い低下している。
• 限界収益の減少が確認された。即ち、アクティブな回答者を増やすごとに、回答生産の増加幅は次第に小さくなる。
• ユーザー参加のべき乗則分布は継続的であるが、システム規模が拡大するにつれて指数が減少し、後続のユーザーの貢献度が初期の参加者より低くなる傾向がある。
• 安定した高参加ユーザーのコア層が存在するが、その割合は総ユーザー数に比例して増加せず、市場健康度における供給と需要のギャップを生じさせている。
• モデル分析から、市場健康度は成長によって自動的に改善されるわけではない。大規模な市場では、時間の経過とともに効率が低下し、反応性も低下する可能性がある。