[논문 리뷰] Ecosystem: A Characteristic Of Crowdsourced Environments

Anamika Chhabra, S. R. S. Iyengar외 3명|arXiv (Cornell University)|2015. 02. 24.

Wikis in Education and Collaboration참고 문헌 18인용 수 6

한 줄 요약

이 논문은 성공적인 커뮤니티 지식 플랫폼의 핵심 특성으로 전문화된 기여자들—질문자, 해결자, 해설자, 탐색자—로 구성된 다양한 생태계를 제안한다. 자체 개발한 커뮤니티 기반 애너테이션 시스템(CAS)에서의 실험과 위키백과, 스택 오버플로우의 분석을 통해, 이러한 전문가 유형 간의 상호보완적 상호작용이 지식 구축을 빠르게 이끌어내며, 전부 네 역할에 참여한 사용자는 0.1%에 불과하여 플랫폼 성공에 필수적인 높은 수준의 기여자 전문화 생태계임을 입증한다.

ABSTRACT

The phenomenal success of certain crowdsourced online platforms, such as Wikipedia, is accredited to their ability to tap the crowd's potential to collaboratively build knowledge. While it is well known that the crowd's collective wisdom surpasses the cumulative individual expertise, little is understood on the dynamics of knowledge building in a crowdsourced environment. A proper understanding of the dynamics of knowledge building in a crowdsourced environment would enable one in the better designing of such environments to solicit knowledge from the crowd. Our experiment on crowdsourced systems based on annotations shows that an important reason for the rapid knowledge building in such environments is due to variance in expertise. First, we used as our test bed, a customized Crowdsourced Annotation System (CAS) which provides a group of users the facility to annotate a given document while trying to understand it. Our results showed the presence of different genres of proficiency amongst the users of an annotation system. We observed that the ecosystem in crowdsourced annotation system comprised of mainly four categories of contributors, namely: Probers, Solvers, Articulators and Explorers. We inferred from our experiment that the knowledge garnering mainly happens due to the synergetic interaction across these categories. Further, we conducted an analysis on the dataset of Wikipedia and Stack Overflow and noticed the ecosystem presence in these portals as well. From this study, we claim that the ecosystem is a universal characteristic of all crowdsourced portals.

연구 동기 및 목표

• 커뮤니티 기반 환경에서 지식 구축의 역학, 특히 기여자 전문성의 다양성의 역할을 이해하기 위해.
• 행동 패턴을 기반으로 커뮤니티 기반 애너테이션 시스템 내에서 기여자 유형을 식별하고 분류하기 위해.
• 통제된 애너테이션 환경에서 관찰된 기여자 생태계가 위키백과와 스택 오버플로우와 같은 대규모 실세계 플랫폼에도 존재하는지 조사하기 위해.
• 특화된 기여자들의 분포와 상호작용이 커뮤니티 기반 플랫폼에서 집단적 지식 창출을 어떻게 촉진하는지 탐구하기 위해.
• 기여자 유형과 그 역할을 식별함으로써 향후 커뮤니티 기반 플랫폼 설계에 대한 통찰을 제공하기 위해.

제안 방법

• 협업 문서 애너테이션 과정에서 실시간 사용자 상호작용을 관찰하기 위해 커스터마이징된 커뮤니티 기반 애너테이션 시스템(CAS)을 개발한 바.
• 사용자 행동을 네 가지 유형으로 분류: 질문자(Probers, 질문을 제기함), 해결자(Solvers, 답변을 제공함), 해설자(Articulators, 통찰을 표현함), 탐색자(Explorers, 외부 자원을 공유함).
• 전체 범주 간 참여도를 분석하기 위해 벤 다이어그램과 다중 범주 간 중복도 측정 지표를 사용하여 전문화도와 다중 역할 행동을 정량화함.
• 위키백과와 스택 오버플로우의 공개 데이터셋에 동일한 분류 프레임워크를 적용하여 실세계 플랫폼에서의 생태계 존재 여부를 검증함.
• 두 가지, 세 가지, 또는 네 가지 역할에 참여한 사용자 비율과 같은 정량적 지표를 활용하여 전문성 전문화 정도를 평가함.
• 향후 연구를 위해 종단적 데이터 수집 및 분석 계획을 수립하여 시간에 따른 편향을 줄이고 기여자 유형을 보다 정교하게 조정함.

실험 결과

연구 질문

• RQ1 커뮤니티 기반 애너테이션 환경에서 기여자의 고유한 행동 역할은 무엇이며, 지식 구축에 어떻게 기여하는가?
• RQ2 커뮤니티 기반 시스템에서 전문성이 다수의 전문가 유형에 분산되어 있는지, 아니면 다중 전문성을 가진 개인에 집중되어 있는가?
• RQ3 통제된 애너테이션 환경에서 관찰된 전문화된 기여자 생태계는 위키백과와 스택 오버플로우와 같은 대규모 실세계 플랫폼에도 존재하는가?
• RQ4 다양한 기여자 유형 간의 상호작용이 커뮤니티 기반 환경에서 지식의 신속한 축적과 정교화를 어떻게 이끌어내는가?
• RQ5 기여자 생태계를 이해함으로써 향후 커뮤니티 기반 플랫폼 개선을 위한 설계 통찰은 무엇인가?

주요 결과

• 커뮤니티 기반 애너테이션 시스템(CAS)은 질문자, 해결자, 해설자, 탐색자로 구성된 네 가지 주요 기여자 유형을 드러내며, 각각 지식 구축에 고유하게 기여한다.
• 전체 사용자 중 0.1%만이 네 역할 모두에 참여하여 기여자 간의 높은 수준의 전문화도를 시사한다.
• 평균적으로 3.72%의 사용자가 두 역할에 참여하였고, 0.65%는 세 역할에 참여하여 단일 역할 전문화의 지배적 성향을 추가로 확인한다.
• 위키백과와 스택 오버플로우에서도 전문화된 기여자 생태계가 관찰되어 성공적인 커뮤니티 기반 플랫폼의 보편적 특성임을 시사한다.
• 이 네 유형 간의 상호보완적 상호작용이 협업 환경에서 지식 구축을 빠르게 이끄는 핵심 요인으로 확인되었다.
• 연구 결과, 기여자 전문성의 비적절한 조합은 지식 수집 포털의 실패로 이어질 수 있으며, 균형 잡힌 기여자 다양성의 중요성을 강조한다.