[论文解读] The Study of the Application of a Keywords-based Chatbot System on the Teaching of Foreign Languages

Jiyou Jia|ArXiv.org|Oct 10, 2003

Educational Reforms and Innovations参考文献 2被引用 51

一句话总结

本研究评估了一款基于关键词的聊天机器人在外语学习中的应用，用户通过与系统进行基于关键词匹配而非语境理解的自然语言对话。尽管实现了基本互动，但聊天机器人的回复频繁重复且不相关，结论是此类系统缺乏有效语言教学助手所必需的语言理解能力。

ABSTRACT

This paper reports the findings of a study conducted on the application of an on-line human-computer dialog system with natural language (chatbot) on the teaching of foreign languages. A keywords-based human-computer dialog system makes it possible that the user could chat with the computer using a natural language, i.e. in English or in German to some extent. So an experiment has been made using this system online to work as a chat partner with the users learning the foreign languages. Dialogs between the users and the chatbot are collected. Findings indicate that the dialogs between the human and the computer are mostly very short because the user finds the responses from the computer are mostly repeated and irrelevant with the topics and context and the program does not understand the language at all. With analysis of the keywords or pattern-matching mechanism used in this chatbot it can be concluded that this kind of system can not work as a teaching assistant program in foreign language learning.

研究动机与目标

• 评估基于关键词的聊天机器人作为外语学习教学助教的可行性。
• 研究用户如何与依赖关键词匹配而非自然语言理解的聊天机器人互动。
• 识别聊天机器人在语言练习过程中响应能力与相关性方面的局限性。
• 确定此类系统能否维持有助于语言习得的有意义对话。
• 评估模式匹配机制对用户参与度和感知学习价值的影响。

提出的方法

• 开发了一款基于关键词的聊天机器人，通过在用户输入上进行模式匹配来模拟类人对话。
• 该系统通过识别关键词并检索预定义回复，处理英语或德语的用户输入。
• 开展了一项在线实验，学习者将聊天机器人用作对话伙伴。
• 收集并分析了用户与聊天机器人之间的对话，评估其长度、相关性和连贯性。
• 对聊天机器人的响应机制进行逆向工程，以理解其对关键词匹配的依赖程度，而非语义理解。
• 使用了11页对话数据，包含10张表格和2张图表，以评估互动质量。

实验结果

研究问题

• RQ1 基于关键词的聊天机器人能否维持适合外语学习的自然、上下文感知对话？
• RQ2 用户如何看待基于关键词匹配的聊天机器人回复的相关性与一致性？
• RQ3 重复或偏离主题的回复在多大程度上阻碍了聊天机器人环境中的语言练习？
• RQ4 聊天机器人缺乏语言理解能力是否降低了其作为语言教学工具的实用性？
• RQ5 模式匹配系统在维持语言学习过程中连贯对话方面存在哪些局限性？

主要发现

• 用户与聊天机器人的对话大多较短，表明参与度低且对话流不畅。
• 聊天机器人回复的大部分内容重复，且未能保持与用户输入的上下文相关性。
• 该系统未表现出真正的语言理解能力，完全依赖关键词匹配，缺乏语义或句法分析。
• 用户因感知到回复不相关或缺乏响应性而频繁中止对话。
• 模式匹配机制严重限制了系统生成有意义或自适应回复的能力。
• 本研究结论认为，由于在语言理解方面存在根本性局限，基于关键词的聊天机器人不适合作为外语教育中的教学助教。