[논문 리뷰] Inter-Coder Agreement for Improving Reliability in Software Engineering Qualitative Research.

Ángel González-Prieto, Jorge Pérez외 2명|arXiv (Cornell University)|2020. 07. 31.

Software Engineering Research참고 문헌 31인용 수 4

한 줄 요약

이 논문은 정량적 소프트웨어 공학 연구에서의 코더 간 일致성(ICA)을 위한 통합 이론적 프레임워크를 제안하며, Krippendorff의 α 계수를 중심으로 하여 코딩 신뢰성과 타당성을 향상시킨다. 보편적인 α 공식을 도입하고, Atlas.ti에서의 계산 및 해석 방법을 설명하며, 대규모 DevOps 문화 사례 연구를 통해 이론의 타당성을 검증하여 정성적 코딩 결과의 일관성 향상을 입증한다.

ABSTRACT

In recent years, the research on empirical software engineering that uses qualitative data analysis (e.g. thematic analysis, content analysis, and grounded theory) is increasing. However, most of this research does not deep into the reliability and validity of findings, specifically in the reliability of coding, despite there exist a variety of statistical techniques known as Inter-Coder Agreement (ICA) for analyzing consensus in team coding. This paper aims to establish a novel theoretical framework that enables a methodological approach for conducting this validity analysis. This framework is based on a set of statistics for measuring the degree of agreement that different coders achieve when judging a common matter. We analyze different reliability coefficients and provide detailed examples of calculation, with special attention to Krippendorff's $\alpha$ coefficients. We systematically review several variants of Krippendorff's $\alpha$ reported in the literature and provide a novel common mathematical framework in which all of them are unified through a universal $\alpha$ coefficient. Finally, this paper provides a detailed guide of the use of this theoretical framework in a large case study on DevOps culture. We explain how $\alpha$ coefficients is computed and interpreted using a widely used software tool for qualitative analysis like Atlas.ti.

연구 동기 및 목표

• 정성적 소프트웨어 공학 연구 내에서 코딩 신뢰성 평가에 대한 방법론적 엄격함의 부족을 해소하기 위해.
• 다양한 연구 맥락에서 코더 간 일치성(ICA) 통계, 특히 Krippendorff의 α를 적용할 때 발생하는 일관성 없는 점들을 식별하고 해결하기 위해.
• Krippendorff의 α의 모든 변형을 하나의 일관된 계수로 통합하는 보편적인 수학적 공식을 개발하기 위해.
• 제안된 ICA 프레임워크를 Atlas.ti 소프트웨어 도구를 사용하여 적용하기 위한 실용적이고 단계적인 가이드라인을 제공하기 위해.
• 실제 정성적 데이터를 사용한 DevOps 문화에 관한 종합적인 사례 연구를 통해 프레임워크의 유용성과 타당성을 입증하기 위해.

제안 방법

• 모든 알려진 변형을 포함하는 단일 수학적 공식을 통해 모든 Krippendorff의 α 변형을 통합하는 보편적인 Krippendorff의 α 계수를 제안하기 위해.
• 기존 ICA 통계를 체계적으로 검토하고 비교하여 그 가정, 적용 가능성 및 한계를 분석하기 위해.
• 관찰된 불일치와 코더 간 기대 불일치를 고려한 보편적 α 계수의 핵심 수식을 정의하기 위해.
• Atlas.ti에서 α 계수 계산을 구현하여 데이터 준비, 코딩 절차 및 출력 결과의 해석 방법을 상세히 기술하기 위해.
• 여러 명의 코더와 다양한 정성적 데이터 원천을 포함한 대규모 DevOps 문화 사례 연구에 프레임워크를 적용하기 위해.
• 통계적 해석 지침을 사용하여 코딩 신뢰성을 평가하고, 수용 가능한 일치 수준을 위한 기준을 설정하기 위해.

실험 결과

연구 질문

• RQ1 모든 Krippendorff의 α 계수 변형을 통합할 수 있는 통합 수학적 프레임워크를 어떻게 수립할 수 있는가?
• RQ2 실제 정성적 소프트웨어 공학 연구 환경에서 보편적 α 계수의 적용 가능성과 신뢰성은 어느 정도인가?
• RQ3 제안된 ICA 프레임워크의 사용이 복잡한 DevOps 문화 사례 연구에서 코딩 일관성과 타당성을 어떻게 향상시키는가?
• RQ4 Atlas.ti가 보편적 α 계수를 사용한 코더 간 일치성 계산 및 해석을 어느 정도 지원할 수 있는가?
• RQ5 보편적 α 계수를 적용할 경우와 전통적인 ICA 방법을 적용할 경우 코딩 신뢰성에 관찰되는 주요 차이는 무엇인가?

주요 결과

• 제안된 보편적 Krippendorff의 α 계수는 모든 알려진 변형을 하나의 일관되고 통합된 수학적 프레임워크로 통합하는 데 성공했다.
• 이 프레임워크는 다양한 정성적 데이터 유형과 코딩 체계에서 일관되고 투명한 코더 간 일치성 계산을 가능하게 하였다.
• DevOps 문화 사례 연구에서 보편적 α 계수의 적용으로 높은 수준의 코딩 신뢰성(α > 0.85)이 확인되어 코더 간 강력한 공감대가 있음을 시사하였다.
• Atlas.ti에 α 계수 통합은 실현 가능했으며 연구자들이 실질적이고 해석 가능한 결과를 도출할 수 있도록 하였다.
• 이 프레임워크의 사용은 코딩 결정의 모호성을 크게 감소시켰고, 정성적 분석의 방법론적 투명성을 향상시켰다.
• 본 연구는 체계적인 ICA 평가를 통해 제안된 프레임워크를 적용할 경우 소프트웨어 공학 연구에서 더 신뢰할 수 있고 재현 가능한 정성적 결과를 도출할 수 있음을 입증하였다.