[논문 리뷰] The Study of the Application of a Keywords-based Chatbot System on the Teaching of Foreign Languages

Jiyou Jia|ArXiv.org|2003. 10. 10.

Educational Reforms and Innovations참고 문헌 2인용 수 51

한 줄 요약

이 연구는 외국어 학습을 위한 키워드 기반 챗봇을 평가한다. 사용자가 맥락을 이해하지 못하는 대신 키워드를 매칭하는 방식으로 자연어 대화를 시도하는 시스템이다. 기본적인 상호작용은 가능하지만, 챗봇의 응답은 빈번히 반복적이며 관련성이 없었고, 이는 그러한 시스템이 효과적인 언어 학습 보조 도구가 되기 위해 필요한 언어 이해 능력을 갖추지 못하고 있음을 시사한다.

ABSTRACT

This paper reports the findings of a study conducted on the application of an on-line human-computer dialog system with natural language (chatbot) on the teaching of foreign languages. A keywords-based human-computer dialog system makes it possible that the user could chat with the computer using a natural language, i.e. in English or in German to some extent. So an experiment has been made using this system online to work as a chat partner with the users learning the foreign languages. Dialogs between the users and the chatbot are collected. Findings indicate that the dialogs between the human and the computer are mostly very short because the user finds the responses from the computer are mostly repeated and irrelevant with the topics and context and the program does not understand the language at all. With analysis of the keywords or pattern-matching mechanism used in this chatbot it can be concluded that this kind of system can not work as a teaching assistant program in foreign language learning.

연구 동기 및 목표

• 키워드 기반 챗봇을 외국어 학습의 보조 교사로 사용하는 것이 가능한지 평가하기.
• 사용자가 자연어 이해 대신 키워드 매칭에 의존하는 챗봇과 어떻게 상호작용하는지 분석하기.
• 언어 연습 세션 동안 챗봇의 반응성과 관련성에 대한 한계를 규명하기.
• 이러한 시스템이 언어 습득을 위한 의미 있는 대화를 유지할 수 있는지 판단하기.
• 패턴 매칭 메커니즘이 사용자 참여도와 인식된 학습 가치에 미치는 영향 평가하기.

제안 방법

• 자연어 대화를 시뮬레이션하기 위해 패턴 매칭을 사용하는 키워드 기반 챗봇을 개발하였다.
• 시스템은 사용자 입력을 영어 또는 독일어로 처리하여 키워드를 식별하고 사전에 정의된 응답을 검색하였다.
• 학습자가 챗봇을 대화 파artner로 사용하는 온라인 실험을 실시하였다.
• 사용자와 챗봇 간의 대화를 수집하여 길이, 관련성, 일관성 측면에서 분석하였다.
• 챗봇의 응답 메커니즘을 역공학하여 의미 이해보다는 키워드 매칭에 의존하는 방식을 이해하였다.
• 상호작용 품질 평가에 11페이지의 대화, 10개의 표, 2개의 그림 데이터를 사용하였다.

실험 결과

연구 질문

• RQ1 키워드 기반 챗봇이 언어 학습에 적합한 자연스럽고 맥락 인식 가능한 대화를 유지할 수 있는가?
• RQ2 사용자는 키워드 매칭 기반 챗봇의 응답에 대해 관련성과 일관성을 어떻게 평가하는가?
• RQ3 반복적이거나 주제에서 벗어난 응답이 챗봇 환경에서의 언어 연습을 어느 정도 방해하는가?
• RQ4 챗봇이 언어 이해 능력을 갖추지 못할 경우, 언어 학습 보조 도구로서의 유용성이 떨어지는가?
• RQ5 패턴 매칭 시스템이 언어 학습 중 일관된 대화를 유지하는 데에 어떤 한계를 갖는가?

주요 결과

• 사용자-챗봇 대화는 주로 짧았으며, 참여도가 낮고 대화 흐름이 제한됨을 나타냈다.
• 채팅봇 응답의 대부분은 반복적이었고, 사용자 입력에 대한 맥락적 관련성을 유지하지 못했다.
• 시스템은 언어에 대한 진정한 이해를 보이지 않았으며, 의미나 문법 분석 없이 오직 키워드 매칭에 의존했다.
• 사용자들은 챗봇의 응답이 관련성이 없거나 반응이 없어 보여 자주 대화를 포기했다.
• 패턴 매칭 메커니즘은 시스템이 의미 있거나 적응적인 응답을 생성할 능력을 심각하게 제한했다.
• 이 연구는 키워드 기반 챗봇이 언어 이해의 기본적 한계를 지니므로 외국어 교육에서 보조 교사로 적합하지 않다고 결론 내렸다.