[논문 리뷰] Exploring Verbalization and Collaboration during Usability Evaluation with Children in Context

Mohammadi Akheela Khanum, Munesh Chandra Trivedi|arXiv (Cornell University)|2013. 06. 18.

Usability and User Interface Design참고 문헌 20인용 수 4

한 줄 요약

이 연구는 물리적 환경이 어린이의 언어적 표현과 협업에 미치는 영향을 탐구하며, 두 가지 설정에서 생각을 소리내기와 구축적 상호작용 방법을 비교한다. 결과적으로 환경이 어린이의 행동에 상당한 영향을 미치며, 특히 자연주의적 환경에서 협업 설정이 언어적 표현과 작업 성과를 향상시킨다. 이는 어린이 중심의 사용성 평가 설계에 중요한 통찰을 제공한다.

ABSTRACT

In this paper, we investigate the effect of context on usability evaluation. The focus is on how children behave and perform when they are tested in different settings. Two most commonly applied usability evaluation methods: the think-aloud and constructive interactions are applied to the children in different physical contexts. We present an experimental design involving 54 children participating in two different configurations of constructive interaction and a traditional think-aloud. The behavior and performance of the children in two different physical contexts is measured by evaluating the results of application of think-aloud and constructive interaction. Finally, we outline lessons on the impact of context on involving children in usability testing.

연구 동기 및 목표

• 물리적 환경이 어린이의 사용성 평가 행동에 미치는 영향을 조사하기 위해.
• 다양한 환경에서 생각을 소리내기와 구축적 상호작용 방법의 효과성을 비교하기 위해.
• 환경이 어린이의 사용성 평가 과정에서 언어적 표현과 협업에 어떻게 영향을 미치는지 이해하기 위해.
• 실세계 설정에서 어린이와의 더 효과적인 사용성 평가를 수행하기 위한 실용적 지침을 제공하기 위해.

제안 방법

• 54명의 어린이를 대상으로 두 가지 다른 물리적 환경에서 실험적 연구를 수행함: 공식적인 실험실 환경과 더 자연스럽고 어린이 友好的한 환경.
• 두 가지 사용성 평가 방법을 적용함: 전통적인 생각을 소리내기와 어린이들이 협업하여 과제를 해결하는 구축적 상호작용.
• 언어적 프로토콜과 행동 관찰을 수집 및 분석하여 언어적 표현 수준과 작업 성과를 측정함.
• 정성적 및 정량적 분석을 사용하여 다양한 환경과 방법 간 어린이의 행동과 성과를 비교함.
• 좌석 배치, 환경적 산만함, 사회적 상호작용과 같은 맥락적 요인을 중점적으로 다루어 사용성 결과에 미치는 영향을 평가함.

실험 결과

연구 질문

• RQ1 물리적 환경은 사용성 평가 과정에서 어린이의 언어적 표현에 어떤 영향을 미치는가?
• RQ2 사용성 평가 방법의 선택(생각을 소리내기 vs. 구축적 상호작용)은 어린이의 협업과 작업 성과에 어떤 영향을 미치는가?
• RQ3 어떻게 어린이의 행동이 공식적 환경과 자연주의적 환경에서 다를 수 있는가?
• RQ4 환경가 생각을 소리내기와 구축적 상호작용 방법의 효과성에 영향을 미치는 정도는 어느 정도인가?

주요 결과

• 자연주의적 환경에서 어린이들은 공식적인 실험실 환경보다 상당히 높은 수준의 언어적 표현을 보였다.
• 모든 환경에서 구축적 상호작용은 생각을 소리내기보다 더 높은 수준의 협업과 지속적인 참여를 이끌어냈다.
• 자연주의적 환경은 작업 성과를 향상시키고 불안을 감소시켜 더 진정성 있는 사용성 데이터를 제공했다.
• 자연주의적 환경에서 어린이들은 동료와 문제와 해결책을 논의할 가능성이 더 높았으며, 협업을 통한 문제 해결 능력 향상을 시사했다.
• 공식적인 환경에서 생각을 소리내기 방법은 어린이의 언어적 출력을 줄였으며, 스트레스 상황에서 어린이의 인지 과정을 포착하는 데 한계가 있음을 시사했다.
• 좌석 배치, 조명, 동료의 존재와 같은 맥락적 요인이 어린이의 행동과 사용성 평가 결과에 측정 가능한 영향을 미쳤다.