[論文レビュー] Inter-Coder Agreement for Improving Reliability in Software Engineering Qualitative Research.

Ángel González-Prieto, Jorge Pérez+2 more|arXiv (Cornell University)|Jul 31, 2020

Software Engineering Research参考文献 31被引用数 4

ひとこと要約

本稿は、質的ソフトウェア工学研究におけるコーディング信頼性と妥当性を向上させるために、クリッペンドルフのα係数を核とする統一的理論枠組みを提案する。普遍的なα係数の公式を提示し、Atlas.tiにおける計算と解釈の手順を示し、大規模なDevOps文化事例研究を通じてその有効性を検証した。その結果、質的コーディングの整合性が向上した。

ABSTRACT

In recent years, the research on empirical software engineering that uses qualitative data analysis (e.g. thematic analysis, content analysis, and grounded theory) is increasing. However, most of this research does not deep into the reliability and validity of findings, specifically in the reliability of coding, despite there exist a variety of statistical techniques known as Inter-Coder Agreement (ICA) for analyzing consensus in team coding. This paper aims to establish a novel theoretical framework that enables a methodological approach for conducting this validity analysis. This framework is based on a set of statistics for measuring the degree of agreement that different coders achieve when judging a common matter. We analyze different reliability coefficients and provide detailed examples of calculation, with special attention to Krippendorff's $\alpha$ coefficients. We systematically review several variants of Krippendorff's $\alpha$ reported in the literature and provide a novel common mathematical framework in which all of them are unified through a universal $\alpha$ coefficient. Finally, this paper provides a detailed guide of the use of this theoretical framework in a large case study on DevOps culture. We explain how $\alpha$ coefficients is computed and interpreted using a widely used software tool for qualitative analysis like Atlas.ti.

研究の動機と目的

• 質的ソフトウェア工学研究におけるコーディング信頼性を評価する手法的厳密性の欠如に対処すること。
• 異なる研究文脈において、特にクリッペンドルフのαを含むインターコーダー同意（ICA）統計の適用における一貫性の欠如を特定・解決すること。
• すべての既知のクリッペンドルフのαの変種を統合する、普遍的な数学的定式化を構築すること。
• Atlas.tiソフトウェアツールを用いた、提案されたICA枠組みの適用のための実践的で段階的なガイドラインを提供すること。
• 本フレームワークの有用性と妥当性を、実際の質的データを用いた大規模なDevOps文化事例研究を通じて示すこと。

提案手法

• すべての既知の変種を統合する単一の数学的定式化を通じて、普遍的なクリッペンドルフのα係数を提案すること。
• 既存のICA統計を体系的にレビュー・比較し、その仮定、適用可能性、限界に焦点を当てる。
• 普遍的なα係数の核心方程式を定義し、コーダー間の観察された不一致と期待される不一致を考慮する。
• Atlas.tiにおけるα係数の計算を実装し、データ準備、コーディング手順、出力の解釈を詳細に記述する。
• 複数のコーダーと多様な質的データソースを含む大規模なDevOps文化事例研究に、このフレームワークを適用する。
• 統計的解釈ガイドラインを用いてコーディング信頼性を評価し、妥当な一致水準の閾値を設定する。

実験結果

リサーチクエスチョン

• RQ1 すべてのクリッペンドルフのα係数の変種を統合する統一的数学的枠組みを確立するには、どのようにすればよいか。
• RQ2 実世界の質的ソフトウェア工学研究において、普遍的なα係数の実用的妥当性と信頼性はどの程度か。
• RQ3 提案されたICA枠組みを用いることで、DevOps文化に関する複雑な事例研究におけるコーディングの一貫性と妥当性はどのように向上するか。
• RQ4 Atlas.tiは、普遍的なα係数を用いたインターコーダー同意の計算と解釈をどの程度支援できるか。
• RQ5 普遍的なα係数を用いる場合と従来のICA手法を用いる場合とで、コーディング信頼性に顕著な差が生じるか。

主な発見

• 提案された普遍的なクリッペンドルフのα係数は、すべての既知の変種を一つの整合的で整合性のある数学的枠組みに統合することに成功した。
• このフレームワークにより、多様な質的データタイプやコーディングスキームにおいて、一貫性があり透明性の高いインターコーダー同意の計算が可能になった。
• DevOps文化事例研究において、普遍的なα係数の適用により高いコーディング信頼性（α > 0.85）が確認され、コーダー間の強い合意が示された。
• Atlas.tiへのα係数の統合は実現可能であり、研究者にとって実用的で解釈可能な結果を提供した。
• 本フレームワークの使用により、コーディング意思決定の曖昧さが著しく低減され、質的分析における方法論的透明性が向上した。
• 本研究は、提案されたフレームワークを用いた体系的なICA評価が、ソフトウェア工学研究におけるより説得力があり再現可能な質的知見をもたらすことを示した。