[论文解读] Replicating and Scaling up Qualitative Analysis using Crowdsourcing: A Github-based Case Study

Di Chen, Kathryn T. Stolee+1 more|arXiv (Cornell University)|Feb 27, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 39被引用 7

一句话总结

本文提出了一种可扩展的二次研究框架（MOSSS），通过众包方式复制并扩展对 GitHub 拉取请求合并的定性研究。作者将来自 20 个拉取请求的定性洞察转化为可众包执行的问题，分析了 250 个拉取请求，使用众包特征预测合并结果的中位 F₁ 得分为 68%，当与定量特征结合时提升至 90%，证明了在实证软件工程研究中方法论整合的价值。

ABSTRACT

Due to the difficulties in replicating and scaling up qualitative studies, such studies are rarely verified. Accordingly, in this paper, we leverage the advantages of crowdsourcing (low costs, fast speed, scalable workforce) to replicate and scale-up one state-of-the-art qualitative study. That qualitative study explored 20 GitHub pull requests to learn factors that influence the fate of pull requests with respect to approval and merging. As a secondary study, using crowdsourcing at a cost of $200, we studied 250 pull requests from 142 GitHub projects. The prior qualitative findings are mapped into questions for crowds workers. Their answers were converted into binary features to build a predictor which predicts whether code would be merged with median F1 scores of 68%. For the same large group of pull requests, the median F1 scores could achieve 90% by a predictor built with additional features defined by prior quantitative results. Based on this case study, we conclude that there is much benefit in combining different kinds of research methods. While qualitative insights are very useful for finding novel insights, they can be hard to scale or replicate. That said, they can guide and define the goals of scalable secondary studies that use (e.g.) crowdsourcing+data mining. On the other hand, while data mining methods are reproducible and scalable to large data sets, their results may be spectacularly wrong since they lack contextual information. That said, they can be used to test the stability and external validity, of the insights gained from a qualitative analysis.

研究动机与目标

• 为解决定性软件工程研究中缺乏复制与可扩展性的问题。
• 通过更大规模的众包数据集，评估先前定性发现关于拉取请求合并的外部有效性。
• 展示定性洞察如何指导并实现基于众包与数据挖掘的可扩展二次研究。
• 比较基于定性分析与基于定量文献的特征在预测性能上的差异。
• 倡导方法论整合——在实证软件工程研究中结合定性洞察与可扩展的定量验证。

提出的方法

• 将 TDH 研究（2014）中的定性发现转化为 129 个微问题，供众包工作者评估拉取请求特征。
• 使用 Amazon Mechanical Turk 对 250 个 GitHub 拉取请求进行众包，原始 20 个拉取请求的答案作为黄金标准以控制质量。
• 从众包响应中收集二值特征，以表示支持、替代方案和问题反对等定性因素。
• 应用数据挖掘技术，基于众包特征、文献衍生特征以及混合特征，构建拉取请求合并结果的预测模型。
• 使用 F₁ 得分作为主要评估指标，比较不同特征集下的模型性能。
• 通过在更大样本中使用相同微问题测试原始定性发现的一致性，验证其稳定性。

实验结果

研究问题

• RQ1 RQ1：能否通过众包实现对 GitHub 拉取请求合并定性研究的成本效益高且独立的复制？
• RQ2 RQ2：当在更大数据集上测试时，原始定性发现的外部有效性如何？
• RQ3 RQ3：基于定性洞察或先前定量研究的特征中，哪一类更能准确预测拉取请求的合并结果？
• RQ4 RQ4：将定性洞察与定量数据挖掘结合，如何提升预测准确性？
• RQ5 RQ5：众包能否作为验证定性软件工程发现的专家判断的可扩展代理？

主要发现

• 基于原始定性研究推导的特征，众包复制在预测拉取请求合并结果方面实现了 68% 的中位 F₁ 得分。
• 当与先前定量研究中提取的特征结合时，预测性能显著提升至 90% 的中位 F₁ 得分。
• 原始 TDH 研究中四个定性因素中的三个（支持、替代方案、对问题的反对）在更大样本中表现出稳定的外部有效性。
• 与所提议解决方案的反对因素在更大数据集中表现不稳定，且不具备一致的预测能力。
• 本研究证实，定性洞察对于指导可扩展的二次研究至关重要，因为它们定义了众包所需的关键问题与特征。
• 结果表明，将定性洞察用于指导可扩展的定量验证，能够产生比孤立方法更稳健、更准确的模型。