[论文解读] Culture and International Usability Testing: The Effects of Culture in Structured Interviews

Ravikiran Vatrapu, Manuel A. Pérez-Quiñones|ArXiv.org|May 13, 2004

Usability and User Interface Design参考文献 28被引用 23

一句话总结

本研究探讨了文化背景如何影响国际可用性测试中结构化访谈的有效性。通过一项控制实验，使用印度参与者及两位访谈者——一位印度人，一位盎格鲁-美国人——结果表明，参与者更倾向于向同一种族背景的访谈者报告更多可用性问题并提出更多建议，证明文化一致性显著提升了可用性测试中访谈的有效性。

ABSTRACT

The global audience for software products includes members of different countries, religions, and cultures: people who speak different languages, have different life styles, and have different perceptions and expectations of any given product. A major impediment in interface development is that there is inadequate empirical evidence for the effects of culture in the usability engineering methods used for developing user interfaces. This paper presents a controlled study investigating the effects of culture on the effectiveness of structured interviews in usability testing. The experiment consisted of usability testing of a website with two independent groups of Indian participants by two interviewers; one belonging to the Indian culture and the other to the Anglo-American culture. Participants found more usability problems and made more suggestions to an interviewer who was a member of the same (Indian) culture than to the foreign (Anglo-American) interviewer. The results of the study empirically establish that culture significantly affects the efficacy of structured interviews during international user testing. The implications of this work for usability engineering are discussed.

研究动机与目标

• 探讨文化差异对国际可用性测试中结构化访谈有效性的影响。
• 检验访谈者与参与者之间的文化一致性是否影响可用性反馈的质量与数量。
• 提供实证证据，说明文化如何影响可用性测试情境中用户的参与度与反馈质量。
• 通过强调基于访谈的数据收集方法中的文化敏感性，为可用性工程实践提供建议。

提出的方法

• 对两组印度参与者进行了控制实验。
• 使用结构化访谈评估网站的可用性，其中一位访谈者来自印度文化，另一位来自盎格鲁-美国文化。
• 收集并分析了每位参与者在会话期间报告的可用性问题及提出的建议。
• 比较了两种不同文化组合的访谈者-参与者配对在可用性问题识别数量与建议数量上的差异。
• 采用被试内设计，以确保测试任务与环境的一致性。
• 通过定量指标衡量有效性：每位参与者发现的问题数量与提出的建议数量。

实验结果

研究问题

• RQ1 访谈者的文化背景如何影响参与者在结构化访谈中识别出的可用性问题数量？
• RQ2 访谈者与参与者之间的文化一致性是否会影响参与者在可用性测试中提出的建议数量？
• RQ3 访谈者与参与者之间的文化差异在多大程度上会削弱结构化访谈在可用性测试中的有效性？
• RQ4 当访谈者来自与自己相同的文化背景时，参与者是否更愿意表达且更投入？
• RQ5 文化不匹配对国际可用性测试中数据质量有何影响？

主要发现

• 与来自外国（盎格鲁-美国）文化的访谈者合作的参与者，报告的可用性问题显著少于与同种族（印度）文化访谈者合作的参与者。
• 参与者更倾向于向同文化背景的访谈者提出更多建议，表明其参与度更高，反馈质量更优。
• 访谈者与参与者之间的文化一致性对结构化访谈结果具有可测量且统计显著的影响。
• 本研究实证证实，文化差异会降低依赖结构化访谈的可用性测试方法的有效性。
• 参与者与同文化背景的访谈者互动时显得更自在、更善于沟通，从而获得更丰富的反馈。
• 这些发现表明，文化不匹配可能导致可用性问题的报告不足，尤其是在跨文化测试场景中。