[논문 리뷰] Don't Leave Me Alone: Retrospective Think Aloud supported by Real-time Monitoring of Participant's Physiology

Liapis, Alexandros, Christos Katsanos외 1명|arXiv (Cornell University)|2018. 02. 12.

Usability and User Interface Design참고 문헌 29인용 수 8

한 줄 요약

이 연구는 피부 전도도, 피부 온도 및 혈액 볼륨 펄스의 실시간 모니터링을 통해 두 가지 후행적 사고방식(RTA) 프로토콜—엄격한 지침과 신체 반응 기반 간섭—을 평가한다. 결과적으로 신체 반응 기반 RTA는 사용성 문제의 수를 유의하게 증가시켰지만, 세션 중 자가 보고된 정서적 평가나 생리적 신호에 변화가 없었다.

ABSTRACT

Think aloud protocols are widely applied in user experience studies. In this paper, the effect of two different applications of the Retrospective Think Aloud (RTA) protocol on the number of user-reported usability issues is examined. To this end, 30 users were asked to use the National Cadastre and Mapping Agency web application and complete a set of tasks, such as measuring the land area of a square in their hometown. The order of tasks was randomized per participant. Next, participants were involved in RTA sessions. Each participant was involved in two different RTA modes: (a) the strict guidance, in which the facilitator stayed in the background and prompted participants to keep thinking aloud based on his judgement and experience, and (b) the physiology-supported interventions, in which the facilitator intervened based on real-time monitoring of user's physiological signals. During each session, three participant's physiological signals were recorded: skin conductance, skin temperature and blood volume pulse. Participants were also asked to provide valence-arousal ratings for each self-reported usability issue. Analysis of the collected data showed that participants in the physiology-supported RTA mode reported significantly more usability issues. No significant effect of the RTA mode was found on the va-lence-arousal ratings for the reported usability issues. Participants' physiological signals during the RTA sessions did not also differ significantly between the two modes.

연구 동기 및 목표

• 후행적 사고방식(RTA)에서 신체 반응 기반 간섭이 기존의 엄격한 지침 기반 RTA 대비 사용성 문제 탐지 능력을 향상시키는지 조사하기 위해.
• 사용자 경험 문제 보고 시 정서 상태를 평가하기 위해 사용자 자가 보고된 정서 상태(정서의 방향성 및 각성도)에 영향을 미치는 RTA 방식의 영향을 검토하기 위해.
• 피부 전도도, 온도, 혈액 볼륨 펄스와 같은 생리적 신호가 RTA 방식에 따라 정서 상태의 지표로 나타나는지 평가하기 위해.
• 기존 RTA의 반응성 및 기억 한계 문제를 해결하기 위해 실시간 생리적 피드백을 통합하여 지도 방식을 안내하기 위해.
• 사용자 경험 평가에서 RTA 프로토콜 적용 최적화를 위한 근거 기반 지침을 제공하기 위해.

제안 방법

• 30명의 참가자를 대상으로 내부 설계 실험을 실시하였으며, 그리스 국립 등록 및 지도국 웹 애플리케이션을 사용하였다.
• 참가자들은 작업(예: 토지 면적 측정)을 수행한 후, 엄격한 지도자 지침이 적용된 RTA 세션과 신체 반응 기반 간섭이 적용된 RTA 세션을 각각 수행하였다.
• 각 RTA 세션 동안 실시간 생리적 신호(피부 전도도, 피부 온도, 혈액 볼륨 펄스)가 기록되었다.
• 지시자들은 신체 반응 기반 RTA 모드에서 실시간 생리적 데이터의 시각적 검토를 통해 간섭 시점을 조절하였으며, 엄격한 지침 조건과의 일관성을 유지하였다.
• 참가자들은 보고한 사용성 문제 각각에 대해 10점 척도를 사용하여 정서의 방향성 및 각성도를 평가하였다.
• 통계 분석은 양측 검정(t-test)과 비모수 검정(Mann-Whitney, Wilcoxon 부호 순위 검정)을 사용하여 RTA 모드 간 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 RQ1: RTA 모드가 사용자들이 RTA 세션에서 보고한 사용성 문제 총 수에 영향을 미치는가?
• RQ2 RQ2: RTA 모드가 사용자가 보고한 사용성 문제 발생 시 자가 보고한 정서 상태(정서의 방향성 및 각성도)에 영향을 미치는가?
• RQ3 RQ3: RTA 모드가 생리적 신호(피부 전도도, 피부 온도, 혈액 볼륨 펄스)를 통해 나타나는 참가자의 정서 상태에 영향을 미치는가?
• RQ4 RQ4: 참가자들이 스트레스 영역(정서의 방향성 <5 및 각성도 >5)에 속하는 사용성 문제를 신체 반응 기반 RTA 모드에서 더 많이 보고하는가?

주요 결과

• 신체 반응 기반 RTA 모드에서 참가자들이 보고한 사용성 문제 수는 평균 M=3.96, 표준편차 SD=1.57로 엄격한 지침 모드(M=2.96, SD=1.49)보다 유의미하게 많았으며, p값은 0.033이고 효과 크기 r=0.43이었다.
• 두 RTA 모드 간 보고된 사용성 문제에 대한 정서의 방향성 및 각성도 평가에 유의미한 차이가 없었으며, Mann-Whitney 검정에서 p값은 각각 0.420(정서의 방향성) 및 0.325(각성도)였다.
• 피부 전도도, 피부 온도, 혈액 볼륨 펄스의 생리적 신호에 대해 RTA 모드 간 유의미한 차이가 없었으며, Wilcoxon 부호 순위 검정을 통해 확인되었고, 모든 p값 > 0.05였다.
• 평균 생리적 신호에 유의미한 차이가 없음에도 불구하고, 신체 반응 기반 RTA 모드에서 세 신호의 평균 값이 모두 낮게 나타났다(피부 전도도: 3.75 vs. 4.05; 온도: 27.96 vs. 28.43; 혈액 볼륨 펄스: -23.18 vs. -22.91).
• 신체 반응 기반 RTA 모드에서 스트레스 영역(정서의 방향성 <5 및 각성도 >5)에 속하는 사용성 문제를 보고한 참가자 수(N=33)가 엄격한 지침 모드(N=22)보다 많았지만, 이 차이는 통계적으로 유의미하지 않았다(p=0.311(정서의 방향성), p=0.190(각성도)).
• 사용성 문제 보고의 분포는 정규분포를 따르지 않아, 정서 평가 및 생리적 데이터에 대해 비모수 검정을 사용하는 것이 타당하였다.