[논문 리뷰] Comparing different qualitative methods to understand user experience in Saudi Arabia

Aisha Ahmed Alarfaj, Ellis Solaiman|arXiv (Cornell University)|2022. 01. 01.

Knowledge Management and Sharing인용 수 2

한 줄 요약

이 연구는 사우디 아라비아의 소셜 코머스 플랫폼에서 사용자 경험을 이해하기 위해 인터뷰, 공동 설계 워크숍, 비평 워크숍과 같은 정성적 방법을 비교한다. 연구 결과, 텍스트 기반 인터뷰는 가족 중심의 커뮤니케이션 방식을 선호하는 문화적 성향과 잘 맞는 것으로 나타났으며, 워크숍은 깊이 있는 통찰을 제공하지만 주의 깊은 facilitation이 필요하여, 다문화 HCI 연구에 실질적인 지침을 제공한다.

ABSTRACT

The HCI field has seen a growing body of qualitative research, making use of a wide range of activities and methods. Interviews and workshops are some of the main techniques used to help understand user needs and to conduct co-design activities with them. However, these methods might be conducted in various ways and have different advantage and disadvantages. An important aspect influencing the types of activities and methods used is the culture of research participants. This paper aims to compare the research methods conducted in the context of the Saudi Arabian culture. It provides a reflection on the methods used to understand user needs when designing social commerce platforms, including interviews, co-design workshops and critique design workshops. We found that each method has its positives and negatives in terms of user preferences, and can help to obtain useful information at different levels of detail. For example, conducting semi-structured interviews by text was preferred by participants who are at home with their families. However, they can be slower than other methods.

연구 동기 및 목표

• 사우디 아라비아의 문화적 맥락에서 다양한 정성적 방법이 사용자 경험을 이해하는 데 어떻게 작용하는지 조사하기.
• 사우디 참가자들과 인터뷰 및 워크숍을 수행할 때 발생하는 문화적 및 실무적 과제를 특정하기.
• 텍스트, 음성, 대면, 온라인 인터뷰의 강점과 한계를 비교하여 사용자 요구를 포괄적으로 포착하는 데의 효과성 평가하기.
• 공동 설계 및 비평 워크숍이 실질적인 디자인 통찰을 생성하는 데 얼마나 효과적인지 평가하기.
• 사우디 아라비아에서 문화적으로 민감한 정성적 HCI 연구를 수행하기 위한 실용적 지침 개발하기.

제안 방법

• 사용자 중심 설계 및 공동 설계 방법론을 융합한 혼합 방법 정성적 접근을 사용하였다.
• 다섯 개의 연구를 수행: 구매자 대상 텍스트 및 음성 인터뷰, 판매자 대상 대면 및 텍스트 인터뷰, 일기 및 지도 그리기 작업이 포함된 대면 인터뷰, 인터페이스 스크린샷과 카드 정렬을 활용한 공동 설계 워크숍, 모의 구현물을 사용한 비평 워크숍.
• 사용자 경험을 구체적으로 유도하기 위해 맞춤형 프롬프트를 포함한 반구조화된 인터뷰를 사용하였다. 그 중에는 사진 및 지도 공유를 포함하였다.
• 참여 유도 및 아이디어 생성을 위해 활동이 체계화된 워크숍을 진행하였으며, 문화적으로 적절한 방식을 확보하였다.
• 사용자 인식적 편의성 평가를 위해 SUS(시스템 편의성 척도)를 적용하였지만, 프로토타입 테스트에서의 한계를 언급하였다.
• 참가자들이 보상으로 기프트 카드 또는 초콜릿 중 선택할 수 있도록 하여 윤리적이고 문화적으로 적절한 참여 유도를 지원하였다.

실험 결과

연구 질문

• RQ1 다양한 인터뷰 형식(텍스트, 음성, 대면)이 사우디 문화적 맥락에서 참가자의 참여도와 데이터 품질에 어떤 영향을 미치는가?
• RQ2 특히 여성 참가자들과의 대면 인터뷰 및 워크숍을 수행할 때 발생하는 문화적 및 실무적 과제는 무엇인가?
• RQ3 공동 설계 및 비평 워크숍은 소셜 코머스 플랫폼의 사용자 요구를 어떻게 드러내고 디자인을 향상시키는 데 효과적인가?
• RQ4 각 정성적 방법이 사우디 아라비아에서 사용자 경험의 미묘한 특징을 포착하는 데 가지는 주요 장점과 한계는 무엇인가?
• RQ5 연구자가 문화적 규범을 존중하면서도 데이터의 깊이와 참가자의 포함을 보장하기 위해 정성적 방법을 어떻게 조정할 수 있는가?

주요 결과

• 텍스트 기반 인터뷰는 가정에서 가족과 함께 있는 참가자들에게 선호되었으며, 이는 사생활 중심의 문화적 커뮤니케이션 방식과의 일치를 시사한다.
• 사우디 참가자들과의 대면 인터뷰는 성별 분리 원칙을 고려해 신중하게 준비가 필요했으며, 본 연구에서는 여성 참가자들로 국한되었다.
• 공동 설계 워크숍은 카드 정렬 및 인터페이스 스케치와 같은 협업 활동을 통해 풍부한 통찰을 도출했지만, 모든 참가자가 참여하도록 주도적인 facilitation이 필요했다.
• 비평 워크숍은 모의 구현물을 통해 사용자가 누락된 기능과 사용성 문제를 식별하는 데 도움이 되었으며, 일부 참가자는 색상과 같은 시각적 요소에 과도하게 집중하는 경향이 있었다.
• 워크숍과 인터뷰는 참가자들이 모두 기여할 수 있도록 지속적인 연구자 참여가 필요했으며, 특히 그룹 환경에서는 더욱 그러했다.
• 일기 연구에서는 참가자들이 자주 기록을 제출하는 것을 忘却하기 때문에 리마인더가 필요했으며, 이는 후속 조치 체계의 필요성을 강조한다.