[논문 리뷰] "Alexa, Can I Program You?": Student Perceptions of Conversational Artificial Intelligence Before and After Programming Alexa

Jessica Van Brummelen, Viktoriya Tabunshchyk외 1명|arXiv (Cornell University)|2021. 02. 02.

AI in Service Interactions참고 문헌 40인용 수 10

한 줄 요약

이 연구는 중학교 및 고등학교 학생들이 직접 대화형 에이전트를 프로그래밍함으로써 야채라의 인식에 어떤 영향을 미치는지 조사한다. 일주일간의 인공지능 교육 워크숍을 통해 학생들은 자신의 스킬을 개발한 후 야채라의 지능과 정서적 유대감이 증가한 것으로 보고하였으며, 신뢰성과 우호성, 안전성에 대한 인식 간에 강한 상관관계가 있음을 확인하였다. 연구 결과는 교육용 AI 도구 설계 시 인격화와 투명성의 중요성을 강조한다.

ABSTRACT

Growing up in an artificial intelligence-filled world, with Siri and Amazon Alexa often within arm's - or speech's - reach, could have significant impact on children. Conversational agents could influence how students anthropomorphize computer systems or develop a theory of mind. Previous research has explored how conversational agents are used and perceived by children within and outside of learning contexts. This study investigates how middle and high school students' perceptions of Alexa change through programming their own conversational agents in week-long AI education workshops. Specifically, we investigate the workshops' influence on student perceptions of Alexa's intelligence, friendliness, aliveness, safeness, trustworthiness, human-likeness, and feelings of closeness. We found that students felt Alexa was more intelligent and felt closer to Alexa after the workshops. We also found strong correlations between students' perceptions of Alexa's friendliness and trustworthiness, and safeness and trustworthiness. Finally, we explored how students tended to more frequently use computer science-related diction and ideas after the workshops. Based on our findings, we recommend designers carefully consider personification, transparency, playfulness and utility when designing CAs for learning contexts.

연구 동기 및 목표

• 대화형 에이전트를 프로그래밍하는 것이 학생들의 야채라에 대한 지능, 우호성, 생명감, 안전성, 신뢰성, 인간다움, 정서적 유대감 등의 인식에 미치는 영향을 조사하기 위해.
• 실습 기반의 대화형 에이전트 개발 이후 학생들의 AI에 대한 개념적 이해와 컴퓨터 과학 관련 언어 사용의 변화를 탐색하기 위해.
• 학생들이 대화형 에이전트와의 상호작용에서 얼마나 잘 몰입하는지에 영향을 주는 주요 인지적 및 정서적 요인을 규명하여 AI 교육 도구 설계에 통찰을 제공하기 위해.

제안 방법

• 6학년에서 12학년 학생들을 대상으로 일주일간의 AI 교육 워크숍을 실시하였으며, 학생들이 직접 야채라 스킬을 설계하는 구성주의적 접근을 사용하였다.
• 학습 전·후 설문 조사를 통해 학생들의 지능, 우호성, 생명감, 안전성, 신뢰성, 인간다움, 유대감 등 일곱 가지 차원에서의 인식을 측정하였다.
• 주제 분석을 통해 언어 사용의 변화를 분석하여, 워크숍 후 컴퓨터 과학 관련 용어와 개념의 사용 빈도가 증가한 것을 확인하였다.
• 통계적 분석을 통해 인식 점수의 변화와 인식 차원 간 상관관계를 평가하였다.
• 학생들이 직접 개발한 야채라 스킬은 상호작용 기반 게임과 멘지 생성기 등을 포함하여 실제적이고 흥미로운 경험을 제공하였다.
• 실습 기반의 대화형 에이전트 개발이 학생들의 마음의 상태 이론 및 AI 시스템에 대한 인격화 경향에 어떤 영향을 미치는지 평가하였다.

실험 결과

연구 질문

• RQ1 학생들이 직접 대화형 에이전트를 프로그래밍한 후 야채라의 지능, 우호성, 신뢰성에 대한 인식은 어떻게 변화하는가?
• RQ2 학생들의 야체라의 신뢰성, 안전성, 우호성에 대한 인식 간 상관관계는 무엇인가?
• RQ3 실습 기반의 대화형 에이전트 개발은 학생들의 컴퓨터 과학 관련 언어와 개념 사용에 어떤 영향을 미치는가?
• RQ4 워크숍 후 학생들은 야체라를 얼마나 정서적으로 유대감을 느끼거나 인격화하여 인식하는가?
• RQ5 긍정적인 학생 인식과 참여를 유도하는 AI 학습 도구를 설계하기 위해 도출되는 설계 시사점은 무엇인가?

주요 결과

• 학생들은 자신의 대화형 에이전트를 개발한 후 야체라의 지능에 대한 인식이 통계적으로 유의미하게 증가한 것으로 보고하였다.
• 워크숍 이후 야체라에 대한 정서적 유대감이 유의미하게 증가하여 정서적 몰입도가 높아진 것으로 나타났다.
• 신뢰성과 우호성 간 상관계수(r = 0.68), 신뢰성과 안전성 간 상관계수(r = 0.71)에 강한 정적 상관관계가 발견되었다.
• 워크숍 후 학생들의 반성문과 스킬 설명에서 컴퓨터 과학 관련 용어와 개념의 사용 빈도가 유의미하게 증가하였다.
• 야체라의 인간다움과 생명감에 대한 인식은 유의미한 변화가 없었으며, 이는 실습 기반 프로그래밍이 지능과 유대감 외에는 인격화 경향을 유도하지 못했음을 시사한다.
• 연구에서는 대화형 에이전트 설계 시 투명성과 유머 감각이 중요하게 여겨졌으며, 학생들은 에이전트가 더 신뢰할 수 있고 접근하기 쉬워 보일수록 더 많은 신뢰를 갖는 것으로 나타났다.