[論文レビュー] The Cost of Collaboration for Code and Art: Evidence from a Remixing Community

Benjamin Mako Hill, Andrés Monroy‐Hernández|arXiv (Cornell University)|Jul 5, 2015

Digital Games and MediaSocial Sciences参考文献 41被引用数 20

ひとこと要約

本研究では、デジタルプロジェクトの作成およびリミックスが可能な若者向けオンラインコミュニティ「Scratch」における協働作業を、共同評価による品質評価を用いて分析している。協働プロジェクトは個人作成のものよりも低い評価を受けるが、コード中心の協働はメディア中心の協働よりも優れた結果を出すことが判明し、創造的分野における協働が品質を向上させるという仮説に反する結果となった。

ABSTRACT

In this paper, we use evidence from a remixing community to evaluate two pieces of common wisdom about collaboration. First, we test the theory that jointly produced works tend to be of higher quality than individually authored products. Second, we test the theory that collaboration improves the quality of functional works like code, but that it works less well for artistic works like images and sounds. We use data from Scratch, a large online community where hundreds of thousands of young users share and remix millions of animations and interactive games. Using peer-ratings as a measure of quality, we estimate a series of fitted regression models and find that collaborative Scratch projects tend to receive ratings that are lower than individually authored works. We also find that code-intensive collaborations are rated higher than media-intensive efforts. We conclude by discussing the limitations and implications of these findings.

研究の動機と目的

• 創造的分野における共同制作の作品が、個人で作成された作品よりも品質が高いかどうかを検証すること。
• 協働が機能的作業（例：コード）よりも芸術的作業（例：画像、音声）の品質向上に寄与するかどうかを調査すること。
• 大規模なオンラインコミュニティにおける協働的デジタル創作の品質のトレードオフを分析すること。
• コンテンツの種別（コード対メディア）が協働の結果に与える影響を評価すること。
• 創造的および技術的分野における「協働のコスト」に関する実証的証拠を提供すること。

提案手法

• データは、ユーザーがインタラクティブなプロジェクトを作成・リミックスする世界的なオンラインコミュニティ「Scratch」から収集された。
• プロジェクトの品質の代理指標として、Scratchコミュニティによるピアレーティングが用いられた。
• 協働と品質の関係を分析するため、回帰モデルが適合され、プロジェクトタイプその他の要因を制御した。
• コンテンツ構成に基づき、プロジェクトは「コード中心」と「メディア中心」に分類された。
• 個人作成のプロジェクトと協働プロジェクトを比較し、コード系とメディア系のプロジェクトそれぞれに別々のモデルを適用した。
• 統計的モデリングにより、協働がピアレーティングに与える影響を評価し、頑健標準誤差とモデル診断を用いた。

実験結果

リサーチクエスチョン

• RQ1 Scratchにおける協働プロジェクトは、個人作成のプロジェクトよりも高いピアレーティングを受けるか？
• RQ2 協働は、コード中心のプロジェクトの品質を、メディア中心のプロジェクトよりも高めるか？
• RQ3 芸術的および創造的分野における協働に測定可能な「コスト」が存在するか？
• RQ4 プロジェクトの構成（コード対メディア）が、協働が評価された品質に与える影響をどのように緩和するか？
• RQ5 創造的コミュニティにおける協働作業は、個人作業に比べてどれほど品質が低くなるか？

主な発見

• 協働プロジェクトは、個人作成のプロジェクトよりも有意に低いピアレーティングを受けており、協働に測定可能な「コスト」が存在することが示された。
• コード中心の協働は、メディア中心の協働よりも高い評価を受け、協働が機能的分野ではより効果的であることが示唆された。
• メディアを多く含むプロジェクトでは、協働の影響が最も悪く、個人作成のものよりも著しく低い評価を受けた。
• 協働が品質に与える全体的な影響は否定的であり、協働が出力品質を普遍的に向上させるという一般的な信念に反した。
• 芸術的およびマルチメディアコンテンツにおいて、個人作成と協働プロジェクトの品質格差が最も顕著に現れた。
• 回帰モデルにより、プロジェクトの複雑さや人気度を制御した後でも、協働が評価された品質に統計的に有意な否定的影響を与えることが確認された。