[논문 리뷰] The Cost of Collaboration for Code and Art: Evidence from a Remixing Community

Benjamin Mako Hill, Andrés Monroy‐Hernández|arXiv (Cornell University)|2015. 07. 05.

Digital Games and MediaSocial Sciences참고 문헌 41인용 수 20

한 줄 요약

이 연구는 디지털 프로젝트를 만들고 리믹스하는 데 중점을 둔 청소년 중심의 온라인 커뮤니티인 스크래치에서 협업을 분석하며, 품질 평가를 위해 동료 평가를 사용한다. 연구 결과 협업 프로젝트는 개인 작업보다 평가 점수가 낮게 나왔지만, 코드 중심의 협업은 미디어 중심의 협업보다 성과가 뛰어나며, 창작 분야에서 협업이 품질을 향상시킨다는 전제를 도전한다.

ABSTRACT

In this paper, we use evidence from a remixing community to evaluate two pieces of common wisdom about collaboration. First, we test the theory that jointly produced works tend to be of higher quality than individually authored products. Second, we test the theory that collaboration improves the quality of functional works like code, but that it works less well for artistic works like images and sounds. We use data from Scratch, a large online community where hundreds of thousands of young users share and remix millions of animations and interactive games. Using peer-ratings as a measure of quality, we estimate a series of fitted regression models and find that collaborative Scratch projects tend to receive ratings that are lower than individually authored works. We also find that code-intensive collaborations are rated higher than media-intensive efforts. We conclude by discussing the limitations and implications of these findings.

연구 동기 및 목표

• 창작 분야에서 공동 제작된 작품이 개인이 작성한 작품보다 품질이 높은지 테스트하는 것.
• 협업이 기능적 작품(예: 코드)보다 예술적 작품(예: 이미지, 사운드)의 품질 향상에 더 큰 영향을 미치는지 조사하는 것.
• 대규모 온라인 커뮤니티 내에서 디지털 창작 협업의 품질 트레이드오프를 분석하는 것.
• 콘텐츠 유형(코드 대 미디어)이 협업 결과에 미치는 영향을 평가하는 것.
• 창작 및 기술 분야에서 협업의 '비용'에 대한 실증적 증거를 제공하는 것.

제안 방법

• 데이터는 사용자가 상호작용 프로젝트를 만들고 리믹스하는 글로벌 온라인 커뮤니티인 스크래치에서 수집되었다.
• 프로젝트 품질의 대리 지표로 스크래치 커뮤니티의 동료 평가가 사용되었다.
• 협업과 품질 간의 관계를 분석하기 위해 회귀 모델이 적합되었으며, 프로젝트 유형 및 기타 요인을 통제하였다.
• 콘텐츠 구성에 기반해 프로젝트는 코드 중심 또는 미디어 중심으로 분류되었다.
• 개인 작성 프로젝트와 협업 프로젝트를 비교하였으며, 코드 및 미디어 중심 작업에 대해 별도의 모델이 사용되었다.
• 통계적 모델링을 통해 협업이 동료 평가에 미치는 영향을 분석하였으며, 강력한 표준오차와 모델 진단을 활용하였다.

실험 결과

연구 질문

• RQ1 스크래치에서 협업 프로젝트는 개인 프로젝트보다 더 높은 동료 평가 점수를 받는가?
• RQ2 협업은 코드 중심 프로젝트의 품질 향상에 미디어 중심 프로젝트보다 더 큰 영향을 미치는가?
• RQ3 예술적 및 창작 분야에서 협업에 대해 측정 가능한 '비용'이 존재하는가?
• RQ4 프로젝트 구성(코드 대 미디어)이 협업이 인식된 품질에 미치는 영향를 어떻게 조절하는가?
• RQ5 창작 커뮤니티에서의 협업 노력이 개인 작업 대비 품질이 낮은 결과를 초래하는 정도는 어느 정도인가?

주요 결과

• 협업 스크래치 프로젝트는 개인 프로젝트보다 유의미하게 낮은 동료 평가 점수를 받았으며, 이는 협업의 측정 가능한 '비용'을 시사한다.
• 코드 중심 협업은 미디어 중심 협업보다 더 높은 평가를 받았으며, 이는 협업이 기능적 분야에서 더 효과적임을 시사한다.
• 미디어가 많은 프로젝트는 협업으로 인해 가장 부정적인 영향을 받았으며, 개인 작업 대비 평가 점수가 상당히 낮았다.
• 협업이 품질에 미치는 총합 효과는 부정적이었으며, 이는 협업이 항상 출력 품질을 향상시킨다는 일반적인 믿음을 반박한다.
• 예술적 및 멀티미디어 콘텐츠에서 개인 프로젝트와 협업 프로젝트 간의 품질 격차가 가장 뚜렷했다.
• 회귀 모델은 협업이 인식된 품질에 통계적으로 유의미한 부정적 영향을 미친다는 것을 확인하였으며, 프로젝트 복잡도와 인기도를 통제한 후에도 마찬가지였다.