[논문 리뷰] Analyzing Organizational Routines in Online Knowledge Collaborations: A Case for Sequence Analysis in CSCW

Brian Keegan, Shakked Lev외 1명|arXiv (Cornell University)|2015. 08. 19.

Wikis in Education and Collaboration참고 문헌 56인용 수 5

한 줄 요약

이 논문은 위키백과와 같은 온라인 지식 공동 생산 환경에서 조직적 루틴을 연구하기 위한 기본 방법으로 시퀀스 분석을 제안한다. 이는 이벤트 로그 데이터를 활용해 편집 행동의 반복적 패턴을 규명함으로써, 생물정보학 및 사회학 기법을 응용해 통계적으로 유의미한 행동 모티프(예: 일반적인 수정 순서)를 식별함으로써 분산된 기여자들이 어떻게 작업을 조율하는지를 드러낸다. 이는 사회기술 시스템 내 공동 생산 루틴을 이해하기 위한 새로운 혼합 방법론을 제공한다.

ABSTRACT

Research into socio-technical systems like Wikipedia has overlooked important structural patterns in the coordination of distributed work. This paper argues for a conceptual reorientation towards sequences as a fundamental unit of analysis for understanding work routines in online knowledge collaboration. We outline a research agenda for researchers in computer-supported cooperative work (CSCW) to understand the relationships, patterns, antecedents, and consequences of sequential behavior using methods already developed in fields like bio-informatics. Using a data set of 37,515 revisions from 16,616 unique editors to 96 Wikipedia articles as a case study, we analyze the prevalence and significance of different sequences of editing patterns. We illustrate the mixed method potential of sequence approaches by interpreting the frequent patterns as general classes of behavioral motifs. We conclude by discussing the methodological opportunities for using sequence analysis for expanding existing approaches to analyzing and theorizing about co-production routines in online knowledge collaboration.

연구 동기 및 목표

• 온라인 지식 공동 생산에서 시간적 조율 패턴에 대한 이해 부족, 특히 정적 또는 집계된 네트워크 분석의 한계를 해결하기 위해.
• 조직적 루틴을 연구하기 위한 기본 단위로 고립된 상호작용이나 네트워크 구조가 아닌 행동의 순서(sequence)를 주장하기 위해.
• 생물정보학 및 사회학에서 유래한 시퀀스 분석 기법을 활용해 피어 프로덕션 플랫폼의 종단적, 이벤트 기반 데이터를 분석할 수 있도록 적응시키기 위해.
• 기여자 활동에서 반복적이고 통계적으로 유의미한 행동 모티프를 식별함으로써 조직적 루틴의 문법 모델에 대한 실증적 근거를 제공하기 위해.
• 시퀀스 분석을 CSCW에 통합함으로써 사회기술 시스템 내 협업 작업의 역동성을 더 풍부하고 혼합 방법론적으로 탐구할 수 있는 연구 방향을 설정하기 위해.

제안 방법

• 생물정보학 및 사회학에서 개발된 원래의 시퀀스 분석 기법을 활용해 온라인 지식 공동 생산 내 편집 행동의 순서를 모델링하고 비교하기 위해.
• 96개 위키백과 기사에서 16,616명의 고유 기여자에 의해 수행된 37,515건의 수정 이벤트 로그를 활용해 기여자 개별 활동 순서를 재구성하기 위해.
• 랜덤 기대치보다 유의미하게 높거나 낮게 발생하는 순서를 식별하기 위해 통계적 방법을 적용하여 잠재적 행동 모티프 또는 루틴을 규명하기 위해.
• 빈번한 순서를 일반적인 공동 생산 루틴의 범주로 해석하기 위해 정량적 시퀀스 패tern과 정성적 해석을 통합하기 위해.
• 정렬 및 클러스터링 기법을 활용해 기여자 간 순서를 비교하고 상호작용 및 조율의 주요 패턴을 식별하기 위해.
• 편집 빈도 등의 제1차 행동 지표와 순서 구조에서 유도된 제2차 특성(예: 기여자 등급, 기사 품질)을 결합하여 단순 카운트나 네트워크 관계를 넘어서 분석을 풍부하게 하기 위해.

실험 결과

연구 질문

• RQ1 온라인 지식 공동 생산에서 어떤 반복적인 편집 행동 순서가 나타나며, 이는 조직적 루틴을 어떻게 反영하는가?
• RQ2 기여자와 기사 간에 행동 순서의 빈도와 구조는 어떻게 다름으로써 조율 패턴에 대한 통찰을 제공하는가?
• RQ3 관측된 순서가 랜덤 기대치에서 얼마나 벗어나며, 이는 의도적 또는 제도화된 조율 실천을 시사하는가?
• RQ4 시퀀스 분석을 어떻게 활용해 피어 프로덕션 시스템 내 공동 생산의 구조적 블록으로 작용하는 행동 모티프를 식별하고 해석할 수 있는가?
• RQ5 시퀀스 분석은 기존의 CSCW 방법(예: 사회망 분석 또는 콘텐츠 분석)을 어떻게 보완하거나 확장할 수 있는가?

주요 결과

• 연구는 랜덤 확률을 초월해 통계적으로 유의미하게 반복되는 편집 행동 순서를 규명하여 위키백과 내 체계적이고 반복 가능한 공동 생산 루틴의 존재를 입증하였다.
• 빈번한 순서는 '편집, 검토, 원복, 재편집'과 같은 행동 모티프로 해석되었으며, 이는 지식 생산에서 일반적인 조율 패턴을 반영한다.
• 특정 순서의 빈도는 조직적 루틴의 기능성 이론(Feldman의 이론)을 지지한다. 이는 개인이 다른 사람의 행동에 따라 행동을 채택하거나 기각함을 의미한다.
• 시퀀스 분석은 이벤트 로그를 정적 네트워크 스냅샷으로 요약함으로써 포착되지 않는 기여자 행동 패턴의 다양성을 드러냈다.
• 이 방법은 일반적인 루틴뿐 아니라 이질적 또는 새로운 실천 방식을 식별하여 후속 정성적 분석을 가능하게 하였다.
• 편집 수와 같은 제1차 지표와 기여자 등급, 기사 품질 등의 공변량을 시퀀스 분석과 통합함으로써 사회기술 시스템 내 혼합 방법론적 조사의 잠재력을 입증하였다.