[论文解读] "Alexa, Can I Program You?": Student Perceptions of Conversational Artificial Intelligence Before and After Programming Alexa

Jessica Van Brummelen, Viktoriya Tabunshchyk+1 more|arXiv (Cornell University)|Feb 2, 2021

AI in Service Interactions参考文献 40被引用 10

一句话总结

本研究探讨了中学生和高中生在自行编程对话代理后，其对Alexa的感知变化。通过为期一周的AI教育工作坊，学生在开发自己的技能后报告称，对Alexa的智能感知和情感亲近感显著提升，且可信度与友好感、安全感之间存在强烈相关性。研究结果凸显了在教育类AI工具设计中拟人化与透明度的重要性。

ABSTRACT

Growing up in an artificial intelligence-filled world, with Siri and Amazon Alexa often within arm's - or speech's - reach, could have significant impact on children. Conversational agents could influence how students anthropomorphize computer systems or develop a theory of mind. Previous research has explored how conversational agents are used and perceived by children within and outside of learning contexts. This study investigates how middle and high school students' perceptions of Alexa change through programming their own conversational agents in week-long AI education workshops. Specifically, we investigate the workshops' influence on student perceptions of Alexa's intelligence, friendliness, aliveness, safeness, trustworthiness, human-likeness, and feelings of closeness. We found that students felt Alexa was more intelligent and felt closer to Alexa after the workshops. We also found strong correlations between students' perceptions of Alexa's friendliness and trustworthiness, and safeness and trustworthiness. Finally, we explored how students tended to more frequently use computer science-related diction and ideas after the workshops. Based on our findings, we recommend designers carefully consider personification, transparency, playfulness and utility when designing CAs for learning contexts.

研究动机与目标

• 探讨编程对话代理如何影响学生对Alexa的智能、友好、生命力、安全性、可信度、类人程度及情感亲近感的感知。
• 探究学生在动手开发对话代理后，其对AI概念的理解以及计算机科学相关语言使用的变化。
• 通过识别影响学生与对话代理互动参与度的关键感知与情感因素，为AI教育工具的设计提供依据。

提出的方法

• 采用建构主义方法，面向6至12年级学生开展为期一周的AI教育工作坊，指导学生设计自定义的Alexa技能。
• 通过工作坊前后调查收集数据，测量学生在七个维度上的感知：智能、友好、生命力、安全性、可信度、类人程度与亲近感。
• 采用主题分析法，考察学生语言使用的变化，识别出工作坊后计算机科学相关术语与概念的使用显著增加。
• 应用统计分析方法，评估感知评分的变化以及各感知维度之间的相关性。
• 设计学生自主创建的Alexa技能，包括互动游戏与表情包生成器，以提供真实且富有吸引力的体验。
• 评估动手开发对话代理对学生心智理论及AI系统拟人化感知的影响。

实验结果

研究问题

• RQ1 学生在自行编程对话代理后，其对Alexa的智能、友好与可信度感知如何变化？
• RQ2 学生对Alexa的可信度、安全性与友好感感知之间存在何种相关性？
• RQ3 动手开发对话代理在多大程度上影响了学生对计算机科学相关语言与概念的使用？
• RQ4 工作坊后，学生在多大程度上感知到Alexa具有情感亲近感或人格化特征？
• RQ5 在设计支持学生积极感知与参与的AI学习工具时，有哪些关键的设计启示？

主要发现

• 学生报告称，在自行编程对话代理后，对Alexa的智能感知显著提升，具有统计学显著性。
• 工作坊后，学生对Alexa的情感亲近感显著增强，表明其情感参与度提高。
• 发现可信度感知与友好感（r = 0.68）及安全感（r = 0.71）之间存在强烈正相关。
• 工作坊后，学生在反思与技能描述中显著增加了计算机科学相关术语与概念的使用。
• 对Alexa的类人程度与生命力的感知未发生显著变化，表明动手编程并未使拟人化感知超出智能与亲近感的范畴。
• 研究发现，对话代理设计中的透明度与趣味性被学生视为重要特征，当代理显得更可靠且更易接近时，学生表现出更高的信任感。