[論文レビュー] Useful Statistical Methods for Human Factors Research in Software Engineering: A Discussion on Validation with Quantitative Data

Lucas Gren, Alfredo Goldman|Chalmers Research (Chalmers University of Technology)|Apr 4, 2019

Software Engineering Techniques and Practices参考文献 26被引用数 6

ひとこと要約

本論文は、ソフトウェア工学分野における人間要因研究において、標準的な統計的妥当性検証手法—Cronbach’s alpha、test-retest信頼性、探索的要因分析—の導入を提唱している。これらの手法が、調査用具の構成妥当性と信頼性を向上させ、測定対象の心理的構造が的確に測定されることを保証することで、実証的ソフトウェア工学研究の科学的厳密性を高めることを示している。

ABSTRACT

In this paper we describe the usefulness of statistical validation techniques for human factors survey research. We need to investigate a diversity of validity aspects when creating metrics in human factors research, and we argue that the statistical tests used in other fields to get support for reliability and construct validity in surveys, should also be applied to human factors research in software engineering more often. We also show briefly how such methods can be applied (Test-Retest, Cronbach's α, and Exploratory Factor Analysis).

研究の動機と目的

• ソフトウェア工学研究における人間要因調査の統計的妥当性検証が不十分であるという問題に対処すること。
• 技術的ソフトウェア工学手法と、人間要因研究における心理測定的妥当性検証の未利用との間のギャップを浮き彫りにすること。
• 心理学および社会科学分野で長年確立された統計的手法をソフトウェア工学における調査研究の強化に導入することを提唱すること。
• 統計的分析の前段階で調査用具の信頼性と妥当性を保証することで、人間要因研究の科学的信頼性を向上させること。
• 未検証または不適切に測定された構成要因に基づく研究が誤った結論を導くリスクを低減すること。

提案手法

• 時間経過に伴う調査回答の安定性を評価するため、test-retest信頼性を用いる。これにより、測定の一貫性が保証される。
• 複数項目から成る調査尺度の内部整合性と信頼性を評価するために、Cronbach’s alpha を適用する。
• 潜在的な構成要因を特定し、関連する調査項目を整合性のある要因にグループ化するために、探索的要因分析（EFA）を用いる。
• EFA を実施する前に、標本の適正性と相関構造を評価するため、Kaiser-Meyer-Olkin（KMO）係数とBartlettの球面性検定を用いる。
• 意味のある要因を抽出・解釈するために、固有値 >1 と要因回転（直交または斜交）を適用する。
• 相互相関が低い項目を特定・除外するために、反画像相関行列に依存し、尺度の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統計的妥当性検証手法は、ソフトウェア工学における人間要因調査の信頼性と妥当性をどのように向上させるか？
• RQ2 測定用具の事前妥当性検証が行われていない状態で推論的統計的検定を実施するのはなぜ問題なのか？
• RQ3 Cronbach’s alpha や要因分析といった確立された心理測定的手法は、ソフトウェア工学研究においてどの程度適用可能で有益であるか？
• RQ4 ソフトウェア工学における調査データに探索的要因分析を適切に適用するための主な仮定と手順は何か？
• RQ5 ソフトウェア工学研究コミュニティは、より成熟した社会科学分野と比較して、統計的妥当性検証の実践のギャップをどのように埋めることができるか？

主な発見

• Cronbach’s alpha、test-retest信頼性、探索的要因分析といった統計的妥当性検証手法は、人間要因研究における調査用具の信頼性と構成妥当性を顕著に向上させる。
• 意味のある要因分析を実施するためには、KMO > 0.5 かつBartlettの球面性検定が有意であることが不可欠であり、これにより項目間の十分な相関が保証される。
• Cronbach’s alpha の値が 0.7 以上であれば、内部整合性に関して一般的に許容可能とされ、0.5 未満の値は信頼性が低いことを示し、項目の見直しが必要となる。
• 要因分析により、調査項目が整合性のある構成要因にグループ化されるかを特定でき、斜交回転を用いることで潜在的要因間の相関関係を明らかにでき、構成の解釈が向上する。
• 多くのソフトウェア工学分野の人間要因研究では、こうした妥当性検証が行われていないため、統計的検定が行われても結論の信頼性に疑問が呈される。
• 導入の主な障壁は、研究者における統計的リテラシーの不足であり、ツールの入手可能性ではなく、多くの手法が広く利用可能な統計ソフトウェアに実装されているためである。