[논문 리뷰] Useful Statistical Methods for Human Factors Research in Software Engineering: A Discussion on Validation with Quantitative Data

Lucas Gren, Alfredo Goldman|Chalmers Research (Chalmers University of Technology)|2019. 04. 04.

Software Engineering Techniques and Practices참고 문헌 26인용 수 6

한 줄 요약

이 논문은 소프트웨어 공학 분야의 인간요구요구 연구에서 기존의 통계적 검증 기법—크ون바흐 알파, 재측정 신뢰도, 탐색적 요인 분석—의 도입을 주장한다. 이러한 방법들이 설문지 도구의 구성 타당도와 신뢰도를 향상시켜, 측정 대상이 되는 심리적 구성요소를 실제로 측정함으로써 실험적 소프트웨어 공학 연구의 과학적 엄밀성을 높인다.

ABSTRACT

In this paper we describe the usefulness of statistical validation techniques for human factors survey research. We need to investigate a diversity of validity aspects when creating metrics in human factors research, and we argue that the statistical tests used in other fields to get support for reliability and construct validity in surveys, should also be applied to human factors research in software engineering more often. We also show briefly how such methods can be applied (Test-Retest, Cronbach's α, and Exploratory Factor Analysis).

연구 동기 및 목표

• 소프트웨어 공학 연구 분야에서 인간요구요구 설문조사에 대한 철저한 통계적 검증이 부족한 문제를 해결하기 위해.
• 기술적 소프트웨어 공학 관행과 인간요구요구 연구에서 심리측정 검증의 부족한 사용 간 격차를 부각하기 위해.
• 심리학 및 사회과학 분야에서 잘 정립된 통계 기법을 도입하여 소프트웨어 공학 분야의 설문 기반 연구를 강화하기 위해.
• 통계 분석 이전에 설문도구의 신뢰성과 타당성을 확보하여 인간요구요구 연구의 과학적 신뢰성을 높이기 위해.
• 검증되지 않거나 부적절하게 측정된 구성요소에 기반한 연구가 잘못된 결론을 이끌 수 있는 위험을 줄이기 위해.

제안 방법

• 설문 응답의 시간에 따른 안정성을 평가하기 위해 재측정 신뢰도를 활용하여 일관된 측정을 확보한다.
• 다중항목 설문 척도의 내적 일관성과 신뢰도를 평가하기 위해 크론바흐 알파를 적용한다.
• 기본적인 구성요소를 식별하고 관련된 설문 항목을 일관된 요인으로 묶기 위해 탐색적 요인 분석(EFA)을 활용한다.
• EFA 수행 이전에 표본 적합성과 상관관계 구조를 평가하기 위해 카이저-마이어-올킨(KMO) 척도와 바틀렛의 구형성 검정을 사용한다.
• 의미 있는 요인을 추출하고 해석하기 위해 고유값 >1 기준과 요인 회전(직교 또는 경사)을 적용한다.
• 상호상관계가 낮은 항목을 식별하고 제거하기 위해 반영상 상관계수 행렬에 의존하여 척도 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 통계적 검증 기법은 소프트웨어 공학 분야의 인간요구요구 설문조사의 신뢰도와 타당도를 어떻게 향상시킬 수 있는가?
• RQ2 측정 도구의 사전 검증 없이 추론 통계 검정을 수행하는 것이 왜 문제적인가?
• RQ3 크론바흐 알파와 요인 분석과 같은 잘 정립된 심리측정 기법이 소프트웨어 공학 연구에 얼마나 적용 가능하고 유익한가?
• RQ4 설문 데이터에 탐색적 요인 분석을 적절히 적용하기 위해 필요한 핵심 가정과 단계는 무엇인가?
• RQ5 소프트웨어 공학 연구 공동체는 더 성숙한 사회과학 분야와 비교해 통계적 검증 관행의 격차를 어떻게 메워야 하는가?

주요 결과

• 크론바흐 알파, 재측정 신뢰도, 탐색적 요인 분석과 같은 통계적 검증 기법은 인간요구요구 연구에서 설문도구의 신뢰도와 구성 타당도를 크게 향상시킨다.
• 의미 있는 요인 분석을 수행하기 위해서는 KMO > 0.5 및 바틀렛의 구형성 검정이 유의미한 것이 필수적인 전제 조건이며, 이는 충분한 항목 간 상관관계를 보장한다.
• 크론바흐 알파 값이 0.7 이상이면 내적 일관성에 대해 일반적으로 수용 가능하며, 0.5 이하일 경우는 신뢰도가 낮아 항목 수정이 필요함을 시사한다.
• 요인 분석은 설문 항목이 일관된 구성요소로 묶이는지 확인하는 데 도움을 주며, 경사 회전을 통해 잠재 요인 간의 상관관계를 드러내어 구성요소의 해석을 향상시킨다.
• 현재 많은 소프트웨어 공학 분야의 인간요구요구 연구는 이러한 검증을 생략하고 있어, 통계적 검정은 수행되었지만 결론이 의심스러운 경우가 많다.
• 도입의 주요 장벽은 도구의 가용성보다는 연구자들의 통계적 숙련도 부족에 기인하며, 대부분의 방법들이 널리 사용 가능한 통계 소프트웨어에 구현되어 있어 문제되지 않는다.