[论文解读] Inter-Coder Agreement for Improving Reliability in Software Engineering Qualitative Research.

Ángel González-Prieto, Jorge Pérez+2 more|arXiv (Cornell University)|Jul 31, 2020

Software Engineering Research参考文献 31被引用 4

一句话总结

本文提出了一套统一的理论框架，用于定性软件工程研究中的编码者间一致性（ICA），核心为Krippendorff的α系数，以提升编码的可靠性和有效性。该框架引入了一个通用的α公式，展示了其在Atlas.ti中的计算与解释方法，并通过大规模DevOps文化案例研究验证了该方法，显示出定性编码结果的一致性显著提高。

ABSTRACT

In recent years, the research on empirical software engineering that uses qualitative data analysis (e.g. thematic analysis, content analysis, and grounded theory) is increasing. However, most of this research does not deep into the reliability and validity of findings, specifically in the reliability of coding, despite there exist a variety of statistical techniques known as Inter-Coder Agreement (ICA) for analyzing consensus in team coding. This paper aims to establish a novel theoretical framework that enables a methodological approach for conducting this validity analysis. This framework is based on a set of statistics for measuring the degree of agreement that different coders achieve when judging a common matter. We analyze different reliability coefficients and provide detailed examples of calculation, with special attention to Krippendorff's $\alpha$ coefficients. We systematically review several variants of Krippendorff's $\alpha$ reported in the literature and provide a novel common mathematical framework in which all of them are unified through a universal $\alpha$ coefficient. Finally, this paper provides a detailed guide of the use of this theoretical framework in a large case study on DevOps culture. We explain how $\alpha$ coefficients is computed and interpreted using a widely used software tool for qualitative analysis like Atlas.ti.

研究动机与目标

• 解决定性软件工程研究中评估编码可靠性时方法论严谨性不足的问题。
• 识别并解决在不同研究情境下应用编码者间一致性（ICA）统计量（特别是Krippendorff的α）时存在的不一致性。
• 提出一个统一的数学公式，将所有Krippendorff的α变体统一为单一、一致的系数。
• 提供一份实用的、分步指导的指南，说明如何使用Atlas.ti软件工具应用所提出的ICA框架。
• 通过一个关于DevOps文化的综合性案例研究，展示该框架的实用性和有效性，使用真实定性数据。

提出的方法

• 提出一个通用的Krippendorff的α系数，通过单一数学公式涵盖所有已知变体。
• 系统性地回顾并比较现有ICA统计量，重点关注其假设、适用性及局限性。
• 定义通用α系数的核心方程，该方程综合考虑了编码者之间的实际差异与期望差异。
• 在Atlas.ti中实现α系数的计算，详细说明数据准备、编码流程及结果解释。
• 将该框架应用于一个涉及多名编码者和多种定性数据来源的大规模DevOps文化案例研究。
• 使用统计解释指南评估编码可靠性，设定可接受一致性的阈值。

实验结果

研究问题

• RQ1 如何建立一个统一的数学框架，以整合所有Krippendorff的α系数变体？
• RQ2 在现实世界的定性软件工程研究中，应用通用α系数的实际可行性与可靠性如何？
• RQ3 在复杂的DevOps文化案例研究中，使用所提出的ICA框架如何提升编码的一致性与有效性？
• RQ4 Atlas.ti在计算和解释使用通用α系数的编码者间一致性方面，能够提供多大程度的支持？
• RQ5 在应用通用α系数与传统ICA方法时，编码可靠性方面可观察到的差异有多大？

主要发现

• 所提出的通用Krippendorff的α系数成功地将所有已知变体统一为一个单一、连贯的数学框架。
• 该框架实现了在不同定性数据类型和编码方案下，编码者间一致性计算的一致性与透明性。
• 在DevOps文化案例研究中，通用α系数的应用揭示了高水平的编码可靠性（α > 0.85），表明编码者之间存在强烈共识。
• 将α系数集成到Atlas.ti中是可行的，并为研究人员提供了可操作且可解释的结果。
• 该框架的使用显著减少了编码决策中的模糊性，并增强了定性分析中的方法论透明度。
• 本研究证明，通过所提出的框架系统性地评估ICA，可使软件工程研究中的定性发现更具说服力且可复现。