[논문 리뷰] A Virtual Teaching Assistant for Personalized Learning

Luca Benedetto, Paolo Cremonesi외 1명|arXiv (Cornell University)|2019. 02. 25.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 5인용 수 15

한 줄 요약

이 논문은 온라인 및 오프라인 강의에서 개인화 학습을 향상시키기 위해 IBM Watson Assistant와 고유 서버를 기반으로 한 개인화 가상 수업 보조자(PVTA)를 제안한다. 시스템은 서버에서 사전 및 사후 처리를 통해 학생의 질의를 처리하고, 과목에 특화된 의도 및 엔티티 인식을 가능하게 하며, 향후 개인화, 참여도 추적, 동적 콘텐츠 추천을 지원한다.

ABSTRACT

In this extended abstract, we propose an intelligent system that can be used as a Personalized Virtual Teaching Assistant (PVTA) to improve the students learning experience both for online and on-site courses. We show the architecture of such system, which is composed of an instance of IBM Watson Assistant and a server, and present an initial implementation, consisting in a chatbot that can be questioned about the content and the organization of the RecSys course, an introductory course on recommender systems.

연구 동기 및 목표

• 온라인 및 오프라인 강의를 대상으로 지속 가능하고 개인화된 가상 수업 보조자를 설계하고 구현하여 강사의 부담을 줄이고 학습 성과를 향상시키는 것.
• 기존 가상 수업 보조자에서의 투명성 부족과 확장성 문제를 해결하기 위해 시스템 아키텍처와 구성 요소의 역할을 상세히 기술하는 것.
• 학생 행동 모델링, 동적 의도/엔티티 학습, 위험에 처한 학생을 위한 사전 대응을 통해 개인화를 실현하는 것.
• 상용 NLP 시스템의 투명성 부족 문제를 해결하기 위해 서버 기반 자연어 생성과 신뢰도 기반 라우팅을 통해 인간 TAs에게의 전환을 구현하는 것.
• 학생 상호작용과 학습 패턴을 바탕으로 적응형 콘텐츠 추천을 탐색하는 것.

제안 방법

• PVTA 아키텍처는 NLP 작업을 위해 IBM Watson Assistant를 통합하고, 컨텍스트, 학생 데이터, 처리를 관리하기 위해 고유 서버를 활용한다.
• 서버에서의 사전 처리는 대명사 참조와 컨텍스트 전환를 해결하여 Watson의 장기 기억 기능 부족을 보완한다.
• 사후 처리는 서버에 저장된 과목 전용 데이터(예: 시험 일정 등)를 활용해 Watson의 불완전한 응답을 풍부하게 한다.
• 학생 행동은 의도 및 엔티티 사용 패턴 기반의 군집화를 통해 모델링되어 학습 그룹과 위험에 처한 학생을 식별할 수 있다.
• 신뢰도 임계값을 통해 모호하거나 낮은 신뢰도의 질의는 인간 TAs에게 라우팅되며, 이들이 정정된 응답을 제공하고 시스템을 재학습시킨다.
• 상호작용에서 지식을 추출함으로써 지속적인 개선을 지원하며, 배포 후에도 의도, 엔티티, 응답 규칙의 동적 확장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 가상 수업 보조자를 아키텍처적으로 설계하여 온라인 및 오프라인 교육 환경 모두에서 개인화 학습을 지원할 수 있는가?
• RQ2 서버는 IBM Watson Assistant와 같은 블랙박스 NLP 엔진의 능력을 교육적 응용에서 어떻게 확장할 수 있는가?
• RQ3 상호작용 데이터를 활용해 학생의 참여도와 탈락 위험을 사전에 탐지하고 대응할 수 있는가?
• RQ4 상용 NLP 플랫폼의 한계를 극복하기 위해 자연어 생성과 개인화를 서버에서 얼마나 효과적으로 구현할 수 있는가?
• RQ5 학생 상호작용에서 유래한 지속적 학습이 시간이 지남에 따라 가상 수업 보조자의 정확성과 관련성 향상에 기여할 수 있는가?

주요 결과

• PVTA 아키텍처는 Watson Assistant와 서버 기반 구성 요소를 성공적으로 통합하여 교육 환경에서 컨텍스트 인식 기반 개인화 응답을 가능하게 하였다.
• 서버에서의 사전 및 사후 처리는 Watson의 장기 기억 부족과 제한된 응답 생성 기능을 효과적으로 보완하였다.
• 이 시스템은 추천 시스템 강의 관련 50개의 의도, 20개의 엔티티(170개 이상의 개념 포함)를 처리할 수 있는 기능성 프로토타입을 달성하였다.
• 상호작용 패턴 기반 군집화를 통한 학생 모델링은 학습 그룹과 위험에 처한 학생을 식별하는 데 기여하였다.
• 신뢰도 기반 라우팅 메커니즘은 낮은 신뢰도의 질의를 인간 TAs에게 성공적으로 이관하여 신뢰성 향상과 모델 정밀도 향상을 이끌어냈다.
• 지식 추출을 통한 지속적 개선을 지원하여, 배포 후에도 의도, 엔티티, 응답 규칙의 동적 확장을 가능하게 하였다.