[論文レビュー] Don't Leave Me Alone: Retrospective Think Aloud supported by Real-time Monitoring of Participant's Physiology

Liapis, Alexandros, Christos Katsanos+1 more|arXiv (Cornell University)|Feb 12, 2018

Usability and User Interface Design参考文献 29被引用数 8

ひとこと要約

本研究では、皮膚電気反応、皮膚温度、血液体積パルスのリアルタイムモニタリングを用いて、厳密な誘導と生理学的支援付きの2つのリトロスペクティブ・サイン・アラウド（RTA）プロトコルを評価した。結果として、生理学的支援付きRTAは、自覚的評価やセッション中の生理的信号に変化をもたらさないまま、報告されたユーザビリティ問題の数を有意に増加させたことが示された。

ABSTRACT

Think aloud protocols are widely applied in user experience studies. In this paper, the effect of two different applications of the Retrospective Think Aloud (RTA) protocol on the number of user-reported usability issues is examined. To this end, 30 users were asked to use the National Cadastre and Mapping Agency web application and complete a set of tasks, such as measuring the land area of a square in their hometown. The order of tasks was randomized per participant. Next, participants were involved in RTA sessions. Each participant was involved in two different RTA modes: (a) the strict guidance, in which the facilitator stayed in the background and prompted participants to keep thinking aloud based on his judgement and experience, and (b) the physiology-supported interventions, in which the facilitator intervened based on real-time monitoring of user's physiological signals. During each session, three participant's physiological signals were recorded: skin conductance, skin temperature and blood volume pulse. Participants were also asked to provide valence-arousal ratings for each self-reported usability issue. Analysis of the collected data showed that participants in the physiology-supported RTA mode reported significantly more usability issues. No significant effect of the RTA mode was found on the va-lence-arousal ratings for the reported usability issues. Participants' physiological signals during the RTA sessions did not also differ significantly between the two modes.

研究の動機と目的

• 生理学的支援付きRTAが、従来の厳密な誘導RTAと比較して、ユーザビリティ問題の検出を改善するかどうかを調査すること。
• RTAモードが参加者の自覚的感情状態（価値・覚醒度）に与える影響を検討すること。
• RTAモードの違いが、感情状態の指標としての生理的信号（皮膚電気反応、温度、血液体積パルス）に与える影響を評価すること。
• 標準的なRTAの反応性と記憶の限界を克服するため、リアルタイムの生理的フィードバックを統合してファシリテーションを支援すること。
• ユーザーエクスペリエンス評価におけるRTAプロトコルの最適化に関する、証拠に基づく指針を提供すること。

提案手法

• ギリシャ国立地籍・地図庁のウェブアプリケーションを用いて、被験者30名を対象に被験者内設計の実験を実施した。
• 参加者は、土地面積の測定などのタスクを実施した後、2回のRTAセッションに参加した。1回目はファシリテーターの厳密な誘導、2回目は生理学的根拠に基づく介入を伴うモードであった。
• 各RTAセッション中、皮膚電気反応、皮膚温度、血液体積パルスのリアルタイム生理的信号を記録した。
• ファシリテーターは、生理学的支援付きモードでは、ライブの生理的データの視覚的インスペクションを用いて介入のタイミングを調整したが、厳密な誘導条件と一貫性を保った。
• 参加者は、報告した各ユーザビリティ問題について、10段階スケールで価値と覚醒度を評価した。
• 統計的分析には、パラメトリック検定（t検定）とノンパラメトリック検定（Mann-Whitney検定、Wilcoxon符号順位検定）を用い、RTAモード間の結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: RTAモードは、RTAセッション中に参加者が報告したユーザビリティ問題の合計数に影響を及ぼすか？
• RQ2 RQ2: RTAモードは、報告されたユーザビリティ問題の際の参加者の自覚的感情状態（価値・覚醒度）に影響を及ぼすか？
• RQ3 RQ3: RTAモードは、参加者の生理的信号（皮膚電気反応、皮膚温度、血液体積パルス）によって示される感情状態に影響を及ぼすか？
• RQ4 RQ4: 生理学的支援付きモードでは、ストレスとされるユーザビリティ問題（価値<5 かつ 覚醒度>5）をより多く報告するか？

主な発見

• 生理学的支援付きRTAモードの参加者は、厳密な誘導モード（M=2.96, SD=1.49）と比較して、有意に多くのユーザビリティ問題を報告した（M=3.96, SD=1.57）、p値は0.033、効果量r=0.43。
• 2つのRTAモード間で、報告されたユーザビリティ問題に対する価値・覚醒度の評価に有意差は認められず、Mann-Whitney検定のp値はそれぞれ0.420（価値）および0.325（覚醒度）であった。
• 皮膚電気反応、皮膚温度、血液体積パルスの生理的信号についても、RTAモード間で有意差は認められず、Wilcoxon符号順位検定でp > 0.05（すべての測定項目で）であった。
• 平均的な生理的信号に有意差は認められなかったが、生理学的支援付きモードの参加者は、すべての3つの信号で平均値が低かった（GSR: 3.75 vs. 4.05；TEMP: 27.96 vs. 28.43；BVP: -23.18 vs. -22.91）。
• 生理学的支援付きモードでは、ストレス領域（価値<5 かつ 覚醒度>5）のユーザビリティ問題を報告した参加者数（N=33）が、厳密な誘導モード（N=22）よりも多かったが、この差は有意ではなかった（p=0.311（価値）、p=0.190（覚醒度））。
• ユーザビリティ問題報告の分布は正規分布ではなかったため、感情評価および生理的データの分析にノンパラメトリック検定の使用が妥当であるとされた。