[論文レビュー] Exploring Verbalization and Collaboration during Usability Evaluation with Children in Context

Mohammadi Akheela Khanum, Munesh Chandra Trivedi|arXiv (Cornell University)|Jun 18, 2013

Usability and User Interface Design参考文献 20被引用数 4

ひとこと要約

本研究は、物理的文脈が子供たちの言語的発話と協働行動に与える影響を、2つの環境で思考 aloud 法と構成的対話法を比較することで調査する。結果から、文脈が子供たちの行動に顕著な影響を与えることが明らかになった。協働的環境では、特に自然主義的環境において、発話とタスク遂行が増加し、子供中心のユーザビリティ評価の設計に重要な知見を提供する。

ABSTRACT

In this paper, we investigate the effect of context on usability evaluation. The focus is on how children behave and perform when they are tested in different settings. Two most commonly applied usability evaluation methods: the think-aloud and constructive interactions are applied to the children in different physical contexts. We present an experimental design involving 54 children participating in two different configurations of constructive interaction and a traditional think-aloud. The behavior and performance of the children in two different physical contexts is measured by evaluating the results of application of think-aloud and constructive interaction. Finally, we outline lessons on the impact of context on involving children in usability testing.

研究の動機と目的

• 物理的文脈が子供たちのユーザビリティ評価行動に与える影響を検討すること。
• 異なる環境における思考 aloud 法と構成的対話法の有効性を比較すること。
• 文脈が子供たちのユーザビリティ評価中の発話と協働行動にどのように影響を与えるかを理解すること。
• 現実世界の環境で子供たちに対してより効果的なユーザビリティ評価を実施するための実用的ガイドラインを提供すること。

提案手法

• 54名の子供を対象に、公式なラボ環境とより自然主義的で子供フレンドリーな環境という2つの異なる物理的文脈で実験的調査を実施した。
• 従来の思考 aloud 法と、子供たちがタスクを共同で解決する構成的対話法という2つのユーザビリティ評価手法を適用した。
• 発話プロトコルと行動観察を収集・分析し、発話レベルとタスク遂行度を測定した。
• 定性的および定量的分析を用いて、文脈と手法ごとの子供たちの行動とパフォーマンスを比較した。
• 座席配置、環境的干渉要因、社会的ダイナミクスといった文脈要因に注目し、ユーザビリティ結果に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 物理的文脈は、ユーザビリティ評価中の子供たちの発話にどのように影響を与えるか？
• RQ2 ユーザビリティ評価手法の選択（思考 aloud 法対比 構成的対話法）は、子供たちの協働行動とタスク遂行にどのように影響を与えるか？
• RQ3 公式な環境と自然主義的環境でテストされた場合、子供たちの行動にどのような違いが生じるか？
• RQ4 文脈は、子供たちのユーザビリティ評価における思考 aloud 法と構成的対話法の有効性をどの程度緩和するか？

主な発見

• 自然主義的文脈では、公式なラボ環境と比較して、子供たちの発話レベルが顕著に高かった。
• 両方の文脈において、構成的対話法は思考 aloud 法よりもより協働的で持続的な関与を促進した。
• 自然主義的環境はタスク遂行を向上させ、不安を軽減し、より本物のユーザビリティデータを提供した。
• 自然主義的文脈では、子供たちが仲間と問題や解決策について話し合う傾向が高まり、協働による問題解決の向上が示された。
• 公式な環境では、思考 aloud 法による発話出力が少なかったため、ストレス状態下での子供たちの認知プロセスの把握に限界がある可能性が示唆された。
• 座席配置、照明、同席する仲間の有無といった文脈要因が、子供たちの行動とユーザビリティ評価結果に測定可能な影響を与えた。