[논문 리뷰] AI-Driven Interface Design for Intelligent Tutoring System Improves Student Engagement

Byungsoo Kim, Hongseok Suh외 2명|arXiv (Cornell University)|2020. 09. 18.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 46인용 수 10

한 줄 요약

이 논문은 학생의 문제 해결 과정에 대한 진단 피드백을 제공함으로써 참여도를 향상시키는 인공지능 기반 인터페이스 설계를 제안한다. 모바일 ITS인 산타(Santa)의 20,000명 이상의 사용자를 대상으로 실시한 통제된 A/B 테스트를 통해, 인공지능 기반 인터페이스 기능이 참여도 지표—예를 들어 전환율과 무료 질문 소비 수—를 최대 25.13% 향상시킨다는 것을 입증한다.

ABSTRACT

An Intelligent Tutoring System (ITS) has been shown to improve students' learning outcomes by providing a personalized curriculum that addresses individual needs of every student. However, despite the effectiveness and efficiency that ITS brings to students' learning process, most of the studies in ITS research have conducted less effort to design the interface of ITS that promotes students' interest in learning, motivation and engagement by making better use of AI features. In this paper, we explore AI-driven design for the interface of ITS describing diagnostic feedback for students' problem-solving process and investigate its impacts on their engagement. We propose several interface designs powered by different AI components and empirically evaluate their impacts on student engagement through Santa, an active mobile ITS. Controlled A/B tests conducted on more than 20K students in the wild show that AI-driven interface design improves the factors of engagement by up to 25.13%.

연구 동기 및 목표

• 인공지능 기반 지식 추적 및 학습 경로 최적화 기술의 발전에도 불구하고 인터페이스 설계가 연구에서 여전히 우선시되지 않은 점을 보완하고자 한다.
• 사용자 인터페이스 내 인공지능 기반 진단 피드백이 지능형 튜터링 시스템에서 학생의 동기, 관심 및 참여도를 향상시키는 방식을 탐구하고자 한다.
• 실제 대규모 모바일 ITS 구현 환경에서 인공지능 기반 설명 가능성 수준과 인터페이스 설계의 세부 수준이 학생의 참여도에 미치는 영향을 평가하고자 한다.
• 해석 가능한 인공지능 원칙을 ITS 인터페이스에 통합하여 학습자가 AI 결정을 투명하고 실질적으로 활용할 수 있도록 하고자 한다.
• AI 분석 기반 향상된 인터페이스 설계가 전환율 및 ARPU와 같은 핵심 참여도 지표에서 측정 가능한 향상 효과를 이끌어내는지 경험적으로 검증하고자 한다.

제안 방법

• 산타 모바일 ITS에 대한 여러 인터페이스 버전을 설계하였으며, 각각 다른 수준의 세부 정보와 설명 가능성으로 진단 피드백을 제공하는 다양한 AI 구성 요소를 통합하였다.
• 지식 추적(KT) 및 인지 진단 모델(예: DIRT, NeuralCDM)과 같은 AI 모델을 활용하여 학생의 지식 상태를 추론하고 개인화된 피드백을 생성하였다.
• 해석 가능한 인공지능 기법을 통합하여 학습 권장 사유를 시각화하였으며, 이는 개념 마스터리 수준, 예상 점수 상승률, 신뢰도 점수 등을 포함한다.
• 로켓(Rocket)이 영감을 준 토글 방식의 스와이프 인터페이스를 구현하여, 인공지능이 추출한 특성—예를 들어 정답 확률 및 예상 학습 성과—를 제시하였다.
• 실제 운영 환경에서 20,000명 이상의 실 사용자를 대상으로 통제된 A/B 테스트를 실시하여 인터페이스 설계 간 참여도를 비교하였다.
• 전환율, 평균 사용자당 수익(ARPU), 총 수익, 평균 무료 질문 소비 수와 같은 다수의 KPI를 측정하여 참여도를 평가하였다.

실험 결과

연구 질문

• RQ1 실제 모바일 학습 환경에서 ITS 사용자 인터페이스에 인공지능 기반 진단 피드백을 통합할 경우 학생의 참여도에 어떤 영향을 미치는가?
• RQ2 해석 가능성과 인터페이스 설계의 세부 수준 중 어느 정도가 지능형 튜터링 시스템에서 학생의 참여도와 동기를 최대화하는가?
• RQ3 인공지능 기반 인터페이스 기능이 대규모 ITS 구현에서 전환율 및 ARPU와 같은 핵심 성과 지표를 얼마나 향상시킬 수 있는가?
• RQ4 시각적 및 텍스트 기반 피드백을 통해 인공지능의 의사결정 과정을 투명하게 드러내면 사용자의 신뢰도와 시스템과의 상호작용에 어떤 영향을 미치는가?
• RQ5 AI 분석과 직관적인 상호작용 패러다임(예: 스와이프)을 결합한 인터페이스 설계가 학습 지속성과 참여도에 측정 가능한 향상 효과를 가져오는가?

주요 결과

• 인공지능 기반 인터페이스 설계는 전환율 및 무료 질문 소비 수와 같은 핵심 지표에서 최대 25.13%까지 성능 향상을 이끌어내어 학생의 참여도를 크게 향상시켰다.
• 가장 효과적인 인터페이스 설계는 세부적인 진단 피드백과 시각적 설명 가능성(예: 마스터리 바 차트 및 추천 게이지)을 결합하여 사용자의 이해도와 신뢰도를 향상시켰다.
• 정답 확률 및 예상 점수 상승률과 같은 인공지능이 추출한 특성을 포함함으로써 사용자가 정보 기반 결정을 내리게 되어 상호작용과 유지를 증가시켰다.
• 20,000명 이상의 학생을 대상으로 실시한 통제된 A/B 테스트를 통해 고급 인공지능 모델 기반 인터페이스 설계가 ARPU 및 총 수익에서 통계적으로 유의미한 향상 효과를 보였음을 확인하였다.
• 더 높은 설명 가능성과 풍부한 피드백을 제공하는 인터페이스를 사용한 학생들은 시스템을 더 오랫동안 사용하고 추천 학습 자료에 더 적극적으로 참여하는 경향이 있었다.
• 결과적으로 인터페이스 설계는 보조적 고려사항이 아니라, 특히 해석 가능한 인공지능 원칙과 연계될 경우 AI 기반 ITS의 효과를 높이는 핵심 요소임을 입증하였다.