[논문 리뷰] Culture and International Usability Testing: The Effects of Culture in Structured Interviews

Ravikiran Vatrapu, Manuel A. Pérez-Quiñones|ArXiv.org|2004. 05. 13.

Usability and User Interface Design참고 문헌 28인용 수 23

한 줄 요약

이 연구는 국제적 사용성 테스트에서 문화적 배경이 구조화된 인터뷰의 효과성에 미치는 영향을 조사한다. 인도 참가자들과 두 명의 인터뷰어(한 명은 인도계, 다른 한 명은 영미계)를 대상으로 한 통제된 실험 결과, 참가자들은 같은 문화 배경을 가진 인터뷰어에게 더 많은 사용성 문제를 인식하고 더 많은 제안을 하였다. 이는 문화적 일치가 사용성 테스트에서 인터뷰의 효율성에 상당한 영향을 미친다는 것을 보여준다.

ABSTRACT

The global audience for software products includes members of different countries, religions, and cultures: people who speak different languages, have different life styles, and have different perceptions and expectations of any given product. A major impediment in interface development is that there is inadequate empirical evidence for the effects of culture in the usability engineering methods used for developing user interfaces. This paper presents a controlled study investigating the effects of culture on the effectiveness of structured interviews in usability testing. The experiment consisted of usability testing of a website with two independent groups of Indian participants by two interviewers; one belonging to the Indian culture and the other to the Anglo-American culture. Participants found more usability problems and made more suggestions to an interviewer who was a member of the same (Indian) culture than to the foreign (Anglo-American) interviewer. The results of the study empirically establish that culture significantly affects the efficacy of structured interviews during international user testing. The implications of this work for usability engineering are discussed.

연구 동기 및 목표

• 국제적 사용성 테스트에서 문화적 차이가 구조화된 인터뷰의 효과성에 미치는 영향을 조사하기 위해.
• 인터뷰어와 참가자 간의 문화적 일치가 사용성 피드백의 질과 양에 영향을 미치는지 검토하기 위해.
• 사용자 참여와 피드백에 문화가 미치는 영향을 실증적으로 입증하기 위해.
• 문화적 민감성을 강조함으로써 인터뷰 기반 데이터 수집 방법의 사용성 공학 실무에 기여하기 위해.

제안 방법

• 인도 참가자들로 구성된 두 개의 독립된 그룹을 대상으로 통제된 실험을 수행하였다.
• 웹사이트의 사용성 평가를 위해 구조화된 인터뷰를 사용하였으며, 한 명의 인터뷰어는 인도 문화 배경을, 다른 한 명은 영미계 문화 배경을 가졌다.
• 각 세션 동안 참가자들이 보고한 사용성 문제와 제안 사항을 수집하고 분석하였다.
• 두 인터뷰어-참가자 문화 그룹 간에 인식된 사용성 문제 수와 제안 수를 비교하였다.
• 테스트 과제와 환경의 일관성을 확보하기 위해 내측 설계를 사용하였다.
• 효과성은 수치적 지표인 참가자당 인식된 문제 수와 제안 수를 통해 측정하였다.

실험 결과

연구 질문

• RQ1 인터뷰어의 문화적 배경이 구조화된 인터뷰 중 참가자가 인식하는 사용성 문제의 수에 어떤 영향을 미치는가?
• RQ2 인터뷰어와 참가자 간의 문화적 일치가 사용성 테스트 중 참가자가 제시하는 제안의 수에 영향을 미치는가?
• RQ3 인터뷰어와 참가자 간의 문화적 차이가 사용성 테스트에서 구조화된 인터뷰의 효과성에 얼마나 막는가?
• RQ4 참가자가 자신의 문화 배경을 가진 사람에게 인터뷰를 받을 때 더 열심히 참여하고 더 적극적으로 참여하는가?
• RQ5 국제적 사용성 테스트에서 문화적 불일치가 데이터 품질에 어떤 영향을 미치는가?

주요 결과

• 같은 문화(인도) 배경을 가진 인터뷰어와 작업한 참가자들이 외국(영미계) 인터뷰어와 작업한 참가자들보다 유의미하게 더 많은 사용성 문제를 보고하였다.
• 참가자들은 같은 문화 배경을 가진 인터뷰어에게 더 많은 제안을 하였으며, 이는 더 높은 참여도와 피드백 품질을 의미한다.
• 인터뷰어와 참가자 간의 문화적 일치는 구조화된 인터뷰의 결과에 측정 가능하고 통계적으로 유의미한 영향을 미쳤다.
• 이 연구는 실증적으로 문화적 차이가 구조화된 인터뷰에 의존하는 사용성 테스트 방법의 효과성을 떨어뜨릴 수 있음을 확인한다.
• 참가자들은 자신의 문화 배경을 가진 인터뷰어와 상호작용할 때 더 편안하고 더 활발히 의사소통하였으며, 이로 인해 더 풍부한 피드백을 제공하였다.
• 이러한 발견들은 문화적 불일치가 특히 다문화 테스트 상황에서 사용성 문제의 저보도를 초래할 수 있음을 시사한다.