[논문 리뷰] Intelligent Conversational Bot for Massive Online Open Courses (MOOCs)

Ser Ling Lim, Ong Sing Goh|arXiv (Cornell University)|2016. 01. 26.

AI in Service Interactions참고 문헌 58인용 수 8

한 줄 요약

이 논문은 대규모 개방형 온라인 강좌(MOOC)에 통합된 지능형 대화형 봇인 MOOC-bot을 제시한다. 이 봇은 학습자와 강사 간의 상호작용을 향상시키기 위해 설계되었으며, 지식 표현을 위해 AIML를 사용하고, 음성 입력/출력을 위해 웹 음성 API를 활용한다. 프로토타입은 벤치마크 도전 과제에서 대화 길이와 정확도 면에서 뛰어난 성능을 보이며, 다양한 분야에서 24시간 365일 다국어 지원을 제공한다.

ABSTRACT

Massive Online Open Courses (MOOCs) which were introduced in 2008 has since drawn attention around the world for both its advantages as well as criticism on its drawbacks. One of the issues in MOOCs which is the lack of interactivity with the instructor has brought conversational bot into the picture to fill in this gap. In this study, a prototype of MOOCs conversational bot, MOOC-bot is being developed and integrated into MOOCs website to respond to the learner inquiries using text or speech input. MOOC-bot is using the popular Artificial Intelligence Markup Language (AIML) to develop its knowledge base, leverage from AIML capability to deliver appropriate responses and can be quickly adapted to new knowledge domains. The system architecture of MOOC-bot consists of knowledge base along with AIML interpreter, chat interface, MOOCs website and Web Speech API to provide speech recognition and speech synthesis capability. The initial MOOC-bot prototype has the general knowledge from the past Loebner Prize winner - ALICE, frequent asked questions, and a content offered by Universiti Teknikal Malaysia Melaka (UTeM). The evaluation of MOOC-bot based on the past competition questions from Chatterbox Challenge (CBC) and Loebner Prize has shown that it was able to provide correct answers most of the time during the test and demonstrated the capability to prolong the conversation. The advantages of MOOC-bot such as able to provide 24-hour service that can serve different time zones, able to have knowledge in multiple domains, and can be shared by multiple sites simultaneously have outweighed its existing limitations.

연구 동기 및 목표

• MOOC에서 실시간 강사 상호작용의 부족을 해결하기 위해 자동화된 대화형 에이전트를 도입하기 위해.
• 다양한 MOOC 플랫폼과 시차를 고려한 확장성 있고 재사용 가능한 봇을 개발하기 위해.
• 자연어 이해 및 음성 기능을 통합하여 학습자 참여도를 향상시키기 위해.
• Chatterbox Challenge 및 Loebner Prize와 같은 기존 기준을 사용하여 봇의 성능을 평가하기 위해.
• 교육 현장에서 확장 가능한 도메인 적응성과 지식 기반 챗봇의 구현 가능성을 입증하기 위해.

제안 방법

• 시스템 아키텍처는 인공지능 마크업 언어 (AIML)를 사용해 규칙 기반 응답 생성을 위한 지식 기반을 통합한다.
• AIML 인터프리터는 사용자 입력을 처리하고 지식 기반에서 적절한 응답을 검색하거나 생성한다.
• 채팅 인터페이스는 MOOC 웹사이트에 통합되어 텍스트 또는 음성으로 실시간 상호작용을 가능하게 한다.
• 웹 음성 API는 음성 입력을 위한 음성 인식과 음성 응답을 위한 텍스트에서 음성으로의 변환을 지원한다.
• 지식 기반에는 Loebner Prize 수상자인 ALICE 봇의 기존 콘텐츠, UTeM 강의 콘텐츠 및 자주 묻는 질문들이 포함되어 있다.
• 시스템은 모듈식으로 설계되어 다양한 MOOC 플랫폼에 쉽게 통합되고 새로운 지식 도메인에 쉽게 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 규칙 기반 대화형 봇이 MOOC 환경에서 학습자 질문을 효과적으로 처리할 수 있는가?
• RQ2 봇이 인간과 유사한 상호작용을 유지하며 얼마나 오랫동안 대화를 이어갈 수 있는가?
• RQ3 Chatterbox Challenge 및 Loebner Prize와 같은 표준 벤치마크에서 봇의 성능은 어떠한가?
• RQ4 다양한 시차와 학습자 집단을 고려할 때 봇이 일관되고 정확한 응답을 제공할 수 있는가?
• RQ5 여러 개의 MOOC 플랫폼에 지식 기반 봇을 배포함으로써 얻는 확장성과 재사용성의 이점은 무엇인가?

주요 결과

• MOOC-bot은 Chatterbox Challenge 및 Loebner Prize 벤치마크에서 뛰어난 성능을 보이며 대부분의 테스트 질문에 정확한 답변을 제공했다.
• 봇은 대화를 지속적으로 이어가 성공적으로 대화 관리 및 참여 유도 능력을 입증했다.
• 시스템은 24시간 365일 서비스를 제공하여 글로벌 MOOC에서 흔히 발생하는 시차 문제를 해결했다.
• 모듈식 설계 덕분에 지식 기반을 최소한의 재구성으로 새로운 지식 도메인에 쉽게 적응시킬 수 있었다.
• 웹 음성 API를 통한 음성 인식 및 합성 통합으로 다중 모odal 상호작용(텍스트 및 음성)이 가능했다.
• AIML의 사용 덕분에 다양한 교육 도메인에서 신속한 프로토타이핑과 지식 기반 확장이 가능했다.