[论文解读] Wiki Surveys: Open and Quantifiable Social Data Collection

Matthew Salganik, Karen Levy|arXiv (Cornell University)|Feb 2, 2012

Wikis in Education and Collaboration参考文献 86被引用 10

一句话总结

本文提出wiki调查——一种结合开放式用户贡献与可量化、可扩展分析的混合社会数据收集方法。受维基百科协作模式的启发，wiki调查采用成对投票机制，让用户实时对想法进行排名，从而实现动态、自适应的数据收集。其核心贡献是一个稳健的统计模型，能够从投票数据中估计项目排名和用户偏好，在两个真实世界案例研究中，相较于传统调查展现出更优的洞察生成能力。

ABSTRACT

In the social sciences, there is a longstanding tension between data collection methods that facilitate quantification and those that are open to unanticipated information. Advances in technology now enable new, hybrid methods that combine some of the benefits of both approaches. Drawing inspiration from online information aggregation systems like Wikipedia and from traditional survey research, we propose a new class of research instruments called wiki surveys. Just as Wikipedia evolves over time based on contributions from participants, we envision an evolving survey driven by contributions from respondents. We develop three general principles that underlie wiki surveys: they should be greedy, collaborative, and adaptive. Building on these principles, we develop methods for data collection and data analysis for one type of wiki survey, a pairwise wiki survey. Using two proof-of-concept case studies involving our free and open-source website www.allourideas.org, we show that pairwise wiki surveys can yield insights that would be difficult to obtain with other methods.

研究动机与目标

• 解决社会科学中封闭式、可量化调查与开放式、定性方法之间长期存在的张力。
• 开发一种可扩展、自适应的数据收集方法，既能捕捉意外洞察，又能支持统计分析。
• 创建一种研究工具，通过让用户协作生成并排名想法，最大限度减少研究者偏见。
• 通过在AllOurIdeas.org平台上开展的两个真实世界案例研究，证明wiki调查的可行性和价值。

提出的方法

• wiki调查基于三大核心原则：贪婪（即时数据捕获）、协作（用户生成内容）和自适应（基于输入动态演化）。
• 成对wiki调查采用投票机制，用户成对比较并排名想法，生成一组比较性偏好的数据集。
• 该方法采用基于Bradley-Terry-Luce（BTL）模型的统计模型，从投票结果中估计项目效用（θ）和用户可靠性。
• 数据处理包括清洗会话错误（如虚假会话拆分和超时误分配），采用三步程序：数据下载、错误修正和会话合并。
• 仅包含至少一次胜利和一次失败的合法投票的项目才会被纳入参数估计，以确保排名推断的可靠性。
• 意见矩阵θ通过跨会话的用户特定项目效用均值得到估计，并应用标准误校正以实现稳健推断。

实验结果

研究问题

• RQ1 一种协作式、开放式调查方法是否能在不预先定义答案选项的情况下产生可量化的数据？
• RQ2 与传统调查相比，用户生成的想法如何影响洞察的多样性与深度？
• RQ3 在现实世界的社会数据收集中，成对投票机制在多大程度上能产生稳定且可解释的排名？
• RQ4 通过允许参与者塑造调查内容，wiki调查在多大程度上能减少研究者在数据收集中的偏见？

主要发现

• 在PlaNYC案例研究中，共生成464个用户贡献的想法，收集到13,970次有效投票，来自1,397个会话，显示出高度参与度和想法多样性。
• 在OECD案例研究中，25,393次有效投票来自1,620个会话，产生了534个用户贡献的想法，表明该方法在机构环境中的可扩展性。
• 数据清洗后，PlaNYC中710个错误报告的会话被合并为52个实际会话，显著提升了数据质量。
• 最终模型为PlaNYC中的269个项目和OECD中的285个项目估计了项目效用，可靠参数估计基于有效的胜/负模式。
• 统计模型成功处理了缺失数据和会话错误，在校正网站特定数据收集缺陷后，仍能产生稳定估计。
• 该方法能够识别出高影响力的想法，并揭示出在封闭式调查格式中可能被忽略的细微公众偏好。