[논문 리뷰] Four Years in Review: Statistical Practices of Likert Scales in Human-Robot Interaction Studies

Mariah Schrum, Michael Johnson외 2명|arXiv (Cornell University)|2020. 01. 09.

Psychometric Methodologies and Testing참고 문헌 53인용 수 11

한 줄 요약

이 논문은 2016–2019년 동안 110편의 인간-로봇 상호작용(HRI) 연구에서 리커트 척도의 통계적 오용을 검토하며, 올바른 설계 및 분석을 적용한 논문은 단 3편 뿐임을 발견했다. 연구는 다항 척도 사용, 가정 검증, 다중 비교 보정 등의 최선의 실천 방안을 제안하여 HRI 연구에서 데이터의 엄밀함과 타당성을 향상시키고자 한다.

ABSTRACT

As robots become more prevalent, the importance of the field of human-robot interaction (HRI) grows accordingly. As such, we should endeavor to employ the best statistical practices. Likert scales are commonly used metrics in HRI to measure perceptions and attitudes. Due to misinformation or honest mistakes, most HRI researchers do not adopt best practices when analyzing Likert data. We conduct a review of psychometric literature to determine the current standard for Likert scale design and analysis. Next, we conduct a survey of four years of the International Conference on Human-Robot Interaction (2016 through 2019) and report on incorrect statistical practices and design of Likert scales. During these years, only 3 of the 110 papers applied proper statistical testing to correctly-designed Likert scales. Our analysis suggests there are areas for meaningful improvement in the design and testing of Likert scales. Lastly, we provide recommendations to improve the accuracy of conclusions drawn from Likert data.

연구 동기 및 목표

• HRI 연구 내 리커트 척도 사용 시 흔히 발생하는 통계적 및 설계 오류를 특정하고 해결하고자 한다.
• 2016–2019년 4년 간의 시스템적 검토를 통해 국제 인간-로봇 상호작용 회의(HRI) 논문 발표록을 분석하여 HRI 분야에서 리커트 척도 사용의 현황을 평가하고자 한다.
• 심리측정 문헌을 바탕으로 공감대가 형성된 최선의 실천 방안을 제안하여 리커트 척도의 설계 및 분석을 정립하고자 한다.
• 인지적 및 태도적 데이터에 의존하는 HRI 연구에서 방법론적 엄밀함과 재현 가능성을 향상시키고자 한다.
• HRI 공동체가 설문지 설계 및 통계적 검정을 위해 표준화되고 검증된 실천 방안을 채택하도록 장려하고자 한다.

제안 방법

• 심리측정 문헌을 종합적으로 검토하여 리커트 척도 설계 및 분석에 대한 최선의 실천 방안을 정의하였다.
• 2016–2019년 HRI 국제 회의에서 발표된 110편의 HRI 논문을 대상으로 최선의 실천 방안 준수 여부를 평가하였다.
• 응답 형식을 잘못 '리커트 척도'로 표기하는 것, 다면적 개념을 위해 단일 항목을 사용하는 것, 부적절한 통계적 검정을 수행하는 것 등의 오류를 평가하였다.
• 리커트 척도 자료에 파라미터 검정을 적용하기 전에 정규성 가정을 검증했는지 평가하였다.
• 적절한 경우 다중 비교 보정 방법을 적용하고 보고의 투명성 수준을 평가하였다.
• 심리측정 문헌의 공감대와 HRI 실무에서 관찰된 결함을 바탕으로 실행 가능한 권고 사항을 제안하였다.

실험 결과

연구 질문

• RQ1 2016~2019년 기간 동안 HRI 연구에서 리커트 척도가 얼마나 자주 잘못 설계되거나 분석되었는가?
• RQ2 HRI 연구에서 리커트 척도 사용 시 가장 흔한 통계적 및 방법론적 오류는 무엇인가?
• RQ3 HRI 연구자들이 리커트 자료에 파라미터 검정을 적용하기 전에 가정을 얼마나 잘 검증하고 있는가?
• RQ4 리커트 척도의 오용이 HRI 연구에서 도출된 결론의 타당성과 신뢰성에 어떤 영향을 미치는가?
• RQ5 HRI 연구에서 리커트 척도 자료의 설계, 분석 및 보고를 향상시키기 위해 근거 기반 최선의 실천 방안은 무엇인가?

주요 결과

• 2016–2019년 기간 동안 110편의 HRI 논문 중 단 3편(2.7%)만 최선의 실천 방안을 적용하여 리커트 척도를 적절히 설계하고 검증하였다.
• 검토된 논문의 56%가 파라미터 검정을 적용할 때 필요한 정규성 가정을 검증하지 않았다.
• 약 50%의 논문이 개별 응답 척도를 잘못 '리커트 척도'로 기재하여 일반적인 용어 오용을 저질렀다.
• 18%의 논문이 복잡하고 다면적인 개념을 측정하기 위해 4개 이하의 항목을 사용하여 신뢰도 기준을 위반하였다.
• 다수의 논문이 척도의 집계된 점수가 아닌 개별 리커트 항목을 분석하여 측정 타당성을 떨어뜨렸다.
• 이 연구는 네 해 동안 통계적 실천 방식에 개선이 없음을 발견하여, 지속적인 개혁의 필요성을 확인하였다.