[논문 리뷰] Wiki Surveys: Open and Quantifiable Social Data Collection

Matthew Salganik, Karen Levy|arXiv (Cornell University)|2012. 02. 02.

Wikis in Education and Collaboration참고 문헌 86인용 수 10

한 줄 요약

이 논문은 위키 설문 조사—오픈-ended 사용자 기여와 정량적이고 확장 가능한 분석을 결합한 하이브리드 사회적 데이터 수집 방법—를 소개한다. 위키백과의 협업 모델에서 영감을 얻어, 사용자가 실시간으로 아이디어를 쌍별로 평가하고 순위를 매기는 방식의 위키 설문 조사는 동적이고 적응형 데이터 수집을 가능하게 한다. 주요 기여는 투표 데이터로부터 항목 순위와 사용자 선호도를 추정하는 강력한 통계 모델을 개발한 것으로, 두 개의 실제 사례 연구에서 전통적 설문 조사보다 뛰어난 통찰을 제공함을 입증한다.

ABSTRACT

In the social sciences, there is a longstanding tension between data collection methods that facilitate quantification and those that are open to unanticipated information. Advances in technology now enable new, hybrid methods that combine some of the benefits of both approaches. Drawing inspiration from online information aggregation systems like Wikipedia and from traditional survey research, we propose a new class of research instruments called wiki surveys. Just as Wikipedia evolves over time based on contributions from participants, we envision an evolving survey driven by contributions from respondents. We develop three general principles that underlie wiki surveys: they should be greedy, collaborative, and adaptive. Building on these principles, we develop methods for data collection and data analysis for one type of wiki survey, a pairwise wiki survey. Using two proof-of-concept case studies involving our free and open-source website www.allourideas.org, we show that pairwise wiki surveys can yield insights that would be difficult to obtain with other methods.

연구 동기 및 목표

• 사회 과학에서 오랫동안 지속된, 닫힌 정량적 설문 조사와 개방적인 정성적 방법 사이의 갈등을 해결하기 위해.
• 의도치 않은 통찰을 포착하면서도 통계 분석이 가능한 확장 가능하고 적응형 데이터 수집 방법을 개발하기 위해.
• 사용자가 공동으로 아이디어를 생성하고 순위를 매김으로써 연구자가 갖는 편향을 최소화하는 연구 도구를 만들기 위해.
• AllOurIdeas.org 플랫폼을 사용한 두 개의 실제 사례 연구를 통해 위키 설문 조사의 실현 가능성과 가치를 입증하기 위해.

제안 방법

• 위키 설문 조사는 세 가지 핵심 원칙에 기반한다: 탐욕스러움(즉각적인 데이터 캡처), 협업성(사용자 기반 콘텐츠 생성), 적응성(입력에 따라 동적으로 진화하는 방식).
• 쌍별 위키 설문 조사는 사용자가 아이디어를 쌍으로 비교하고 순위를 매김으로써 비교적 선호도 데이터를 생성한다.
• 투표 결과로부터 항목 유틸리티(θ)와 사용자 신뢰도를 추정하기 위해 브래드리-테일러-루스(Bradley-Terry-Luce, BTL) 모델에 기반한 통계 모델을 사용한다.
• 데이터 처리에는 세션 오류(예: 부정확한 세션 분할 및 타임아웃 오류 할당)를 정리하기 위한 세 단계 절차가 포함된다: 데이터 다운로드, 오류 수정, 세션 통합.
• 신뢰할 수 있는 순위 추론을 보장하기 위해, 유효한 투표에서 최소 한 번의 승리와 패배를 기록한 항목만 매개변수 추정에 포함된다.
• 의견 행렬 θ는 세션 간 사용자별 항목 유틸리티의 평균으로 추정되며, 신뢰도 추론을 위해 표준 오차 보정이 적용된다.

실험 결과

연구 질문

• RQ1 협업적이고 개방적인 설문 조사 방법이 사전에 답변 선택지를 정의하지 않고도 정량적 데이터를 생성할 수 있는가?
• RQ2 사용자가 기여한 아이디어의 포함 여부가 기존 설문 조사 대비 통찰의 다양성과 깊이에 어떤 영향을 미치는가?
• RQ3 실생활 사회적 데이터 수집에서 쌍별 투표 기반의 순위 매기기가 얼마나 안정적이고 해석 가능한가?
• RQ4 위키 설문 조사를 통해 참가자가 설문 조사 내용을 결정하게 하여 연구자의 편향을 줄일 수 있는가?

주요 결과

• PlaNYC 사례 연구에서 464개의 사용자 기여 아이디어가 생성되었으며, 1,397개 세션에서 총 26,604건의 유효한 투표가 수집되어 높은 참여도와 아이디어의 다양성을 입증했다.
• OECD 사례 연구에서는 1,620개 세션에서 총 25,393건의 유효한 투표를 통해 534개의 사용자 기여 아이디어가 도출되었으며, 기관적 맥락에서의 확장 가능성도 입증했다.
• 데이터 정제 후, PlaNYC에서 잘못 보고된 710개 세션은 실제 52개 세션으로 통합되어 데이터 품질이 향상되었다.
• 최종 모델은 PlaNYC에서 269개 항목, OECD에서 285개 항목의 항목 유틸리티를 추정하였으며, 유효한 승패 패턴을 기반으로 신뢰할 수 있는 매개변수 추정을 도출했다.
• 통계 모델은 누락 데이터와 세션 오류를 효과적으로 처리하여, 웹사이트 고유의 데이터 수집 오류를 보정한 후에도 안정적인 추정치를 도출했다.
• 이 방법은 높은 영향력을 가진 아이디어를 식별하고, 기존의 닫힌 형식의 설문 조사에서는 놓쳤을 수 있는 세부적인 공공 선호도를 드러내는 데 기여했다.