[論文レビュー] "Alexa, Can I Program You?": Student Perceptions of Conversational Artificial Intelligence Before and After Programming Alexa

Jessica Van Brummelen, Viktoriya Tabunshchyk+1 more|arXiv (Cornell University)|Feb 2, 2021

AI in Service Interactions参考文献 40被引用数 10

ひとこと要約

本研究では、中学校・高校生が自ら会話型アシスタントをプログラミングすることで、アレクサに対する認識にどのような影響を与えるかを調査した。1週間のAI教育ワークショップを通じて、学生たちは自らのスキルを開発した後、アレクサの知能や感情的接近度が向上したと報告した。信頼性と親しみやすさ、安全さの間には強い相関関係が見られた。研究結果は、教育用AIツールの設計において、人間らしさの表現と透明性の重要性を示している。

ABSTRACT

Growing up in an artificial intelligence-filled world, with Siri and Amazon Alexa often within arm's - or speech's - reach, could have significant impact on children. Conversational agents could influence how students anthropomorphize computer systems or develop a theory of mind. Previous research has explored how conversational agents are used and perceived by children within and outside of learning contexts. This study investigates how middle and high school students' perceptions of Alexa change through programming their own conversational agents in week-long AI education workshops. Specifically, we investigate the workshops' influence on student perceptions of Alexa's intelligence, friendliness, aliveness, safeness, trustworthiness, human-likeness, and feelings of closeness. We found that students felt Alexa was more intelligent and felt closer to Alexa after the workshops. We also found strong correlations between students' perceptions of Alexa's friendliness and trustworthiness, and safeness and trustworthiness. Finally, we explored how students tended to more frequently use computer science-related diction and ideas after the workshops. Based on our findings, we recommend designers carefully consider personification, transparency, playfulness and utility when designing CAs for learning contexts.

研究の動機と目的

• 会話型アシスタントのプログラミングが、学生たちのアレクサの知能、親しみやすさ、生々しさ、安全さ、信頼性、人間らしさ、感情的接近度といった7つの次元における認識に与える影響を検討すること。
• 実地の会話型アシスタント開発の経験を通じて、学生たちのAIに関する概念的理解と、コンピュータサイエンス関連の言語使用にどのような変化が生じたかを調査すること。
• 会話型アシスタントとの学生の関与に影響を与える主な認知的・感情的要因を特定することで、教育用AIツールの設計を支援すること。

提案手法

• 6年生から12年生の学生を対象に、自らのアレクサスキルを設計する構築主義的アプローチを用いた1週間のAI教育ワークショップを実施した。
• ワークショップ前後で実施したアンケート調査により、知能、親しみやすさ、生々しさ、安全さ、信頼性、人間らしさ、接近度の7次元における学生の認識を測定した。
• 主題的分析を用いて言語使用の変化を検討し、ワークショップ後にはコンピュータサイエンス関連用語や概念の使用が顕著に増加していることを特定した。
• 統計的分析を適用して、認識スコアの変化および認識次元間の相関関係を評価した。
• インタラクティブゲームやMeme生成ツールを含む、学生が自ら作成したアレクサスキルを提供することで、本物らしく魅力的な体験を提供した。
• 実地の会話型アシスタント開発が、学生たちの「心の理論」とAIシステムへの擬人化に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 会話型アシスタントを自らプログラミングした後、学生たちのアレクサの知能、親しみやすさ、信頼性に対する認識はどのように変化するか？
• RQ2 学生たちのアレクサの信頼性、安全さ、親しみやすさの認識の間には、どのような相関関係が存在するか？
• RQ3 実地の会話型アシスタント開発は、学生たちのコンピュータサイエンス関連の言語および概念の使用にどのように影響を与えるか？
• RQ4 ワークショップ終了後、学生たちはアレクサをどれほど感情的に接近できる存在、あるいは擬人化された存在として認識しているか？
• RQ5 教育用AI学習ツールの設計において、学生の認識や関与を高めるためにどのようなインサイトが得られるか？

主な発見

• 学生たちは、自ら会話型アシスタントをプログラミングした後、アレクサの知能に対する認識が統計的に有意に向上したと報告した。
• ワークショップ終了後、アレクサに対する感情的接近度も有意に向上しており、感情的な関与が強まっていることが示された。
• 信頼性と親しみやすさの間には強い正の相関（r = 0.68）、信頼性と安全さの間にも強い正の相関（r = 0.71）が確認された。
• ワークショップ後、学生たちは自己報告やスキル説明において、コンピュータサイエンス関連用語や概念を著しく多く使用していた。
• 人間らしさや生々しさに関する認識に有意な変化は見られず、これは、実地のプログラミング経験が知能や接近度を超えて擬人化を促進しなかったことを示唆している。
• 本研究では、会話型アシスタントの設計における透明性と遊び心が重要であると認識されており、信頼性や親しみやすさが高まる中で、より信頼できる・親しみやすいと感じられるアシスタントが好まれた。