[논문 리뷰] Collective Intelligence in Citizen Science -- A Study of Performers and Talkers

Ramine Tinati, Elena Simperl외 3명|arXiv (Cornell University)|2014. 06. 29.

Mobile Crowdsensing and Crowdsourcing참고 문헌 24인용 수 14

한 줄 요약

이 연구는 10개의 Zooniverse 프로젝트를 대상으로 사용자 행동을 분석함으로써 기부자 과학에서의 집단지능을 조사한다. 주로 작업을 완료하는 '퍼포머'(performers)와 포럼에 참여하는 '토크어'(talkers)에 초점을 맞춘다. 연구 결과, 높은 활동도를 보이는 사용자들은 상호의존적이고 조율된 행동을 보이며, 특히 토크어들이 협업적 토론을 통해 과학적 발견을 이끌어내는 것으로 나타났다. 이는 커뮤니티 상호작용이 자발적 과학 연구에서 집단지능을 증폭시킨다는 것을 보여준다.

ABSTRACT

The recent emergence of online citizen science is illustrative of an efficient and effective means to harness the crowd in order to achieve a range of scientific discoveries. Fundamentally, citizen science projects draw upon crowds of non-expert volunteers to complete short Tasks, which can vary in domain and complexity. However, unlike most human-computational systems, participants in these systems, the `citizen scientists' are volunteers, whereby no incentives, financial or otherwise, are offered. Furthermore, encouraged by citizen science platforms such as Zooniverse, online communities have emerged, providing them with an environment to discuss, share ideas, and solve problems. In fact, it is the result of these forums that has enabled a number of scientific discoveries to be made. In this paper we explore the phenomenon of collective intelligence via the relationship between the activities of online citizen science communities and the discovery of scientific knowledge. We perform a cross-project analysis of ten Zooniverse citizen science projects and analyse the behaviour of users with regards to their Task completion activity and participation in discussion and discover collective behaviour amongst highly active users. Whilst our findings have implications for future citizen science design, we also consider the wider implications for understanding collective intelligence research in general.

연구 동기 및 목표

• 재정적 인centives가 없는 온라인 기부자 과학 플랫폼에서 집단지능이 어떻게 유도되는지 이해하는 것.
• 과학적 발견을 촉진하는 데서 작업 완료(퍼포머)와 토론 참여(토크어) 간의 상호작용을 분석하는 것.
• 기부자 과학 커뮤니티에서 높은 활동도를 보이는 사용자들 간의 집단행동 패턴을 규명하는 것.
• 사용자 참여 역학을 바탕으로 향후 기부자 과학 플랫폼의 설계에 대한 통찰을 도출하는 것.
• 보상이 없는 자발적 참여 시스템에서의 집단지능 메커니즘에 대한 통찰을 기여하는 것.

제안 방법

• 장기적인 사용자 활동 데이터를 활용해 10개의 Zooniverse 기부자 과학 프로젝트에 대한 종단적 분석을 수행하였다.
• 작업 완료 빈도에 따라 사용자를 '퍼포머'로 분류하고, 포럼 참여도에 따라 '토크어'로 분류하였다.
• 사용자 참여의 시계열 패턴을 추적하여 조율되고 협업적인 행동 양태를 식별하였다.
• 포럼 토론과 과학적 발견 간의 상관관계를 분석하여 영향도를 평가하였다.
• 통계적 분석을 통해 퍼포머와 토크어 간의 참여 수준과 활동 패턴을 비교하였다.
• 비전문가 자발적 참여자 간 문제 해결과 지식 공동 창출을 가능하게 하는 커뮤니티 포럼의 역할을 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 기부자 과학 프로젝트에서 퍼포머와 토크어의 행동 양태는 어떻게 상이한가?
• RQ2 포럼 참여(토크어)와 과학적 통찰의 발견 간의 관계는 무엇인가?
• RQ3 높은 활동도를 보이는 사용자들이 과학적 결과에 기여하는 데 있어 얼마나 조율되고 집단적인 행동을 보이는가?
• RQ4 재정적 인센티브가 없는 상황에서 커뮤니티 상호작용은 어떻게 집단지능을 증폭시키는가?
• RQ5 기부자 과학 플랫폼에서 작업 수행과 토론 간의 상호작용에서 도출할 수 있는 설계 원칙은 무엇인가?

주요 결과

• 특히 토크어인 높은 활동도 사용자들이 과학적 발견의 대부분을 담당했으며, 토론을 통해 핵심 연구 질문을 제기하거나 해결하였다.
• 퍼포머와 토크어는 상호보완적인 역할을 하였다: 퍼포머는 데이터 기여를 했고, 토크어는 중요한 분석과 조율 기능을 수행하였다.
• 지속적인 포럼 참여와 희귀하거나 복잡한 과학 현상의 식별 간에 유의미한 상관관계가 발견되었다.
• 토크어 참여도가 높은 커뮤니티는 더 빠른 문제 해결과 사용자당 더 높은 과학적 생산성을 보였다.
• 가장 활동적인 사용자들은 퍼포머와 토크어 역할을 상호 전환하는 경우가 많아 유동적이고 다이나믹한 협업을 보였다.
• 과학적 발견은 고립된 작업 완료보다 협업적 토론을 통해 더 자주 발생하였으며, 이는 커뮤니티 상호작용의 가치를 강조한다.