[論文レビュー] The Study of the Application of a Keywords-based Chatbot System on the Teaching of Foreign Languages

Jiyou Jia|ArXiv.org|Oct 10, 2003

Educational Reforms and Innovations参考文献 2被引用数 51

ひとこと要約

本研究では、文脈を理解するのではなくキーワードを照合する仕組みで動作するキーワードベースのチャットボットが、外国語学習の文脈でどのように機能するかを評価している。基本的な対話は可能ではあるが、チャットボットの返答は繰り返し的で、しばしば不適切であり、その結果、このようなシステムは効果的な言語学習補助ツールとして機能するのに必要な言語理解力に欠けていると結論づけられた。

ABSTRACT

This paper reports the findings of a study conducted on the application of an on-line human-computer dialog system with natural language (chatbot) on the teaching of foreign languages. A keywords-based human-computer dialog system makes it possible that the user could chat with the computer using a natural language, i.e. in English or in German to some extent. So an experiment has been made using this system online to work as a chat partner with the users learning the foreign languages. Dialogs between the users and the chatbot are collected. Findings indicate that the dialogs between the human and the computer are mostly very short because the user finds the responses from the computer are mostly repeated and irrelevant with the topics and context and the program does not understand the language at all. With analysis of the keywords or pattern-matching mechanism used in this chatbot it can be concluded that this kind of system can not work as a teaching assistant program in foreign language learning.

研究の動機と目的

• キーワードベースのチャットボットを外国語学習における補助教師として使用する可能性を評価すること。
• 自然言語理解ではなくキーワード照合に依存するチャットボットとユーザーがどのように対話するかを調査すること。
• 言語学習の場面におけるチャットボットの応答の的確さと関連性の限界を特定すること。
• このようなシステムが言語習得に適した意味のある対話を継続できるかどうかを検証すること。
• パターンマッチング機構がユーザーの関与度と学習価値の認識に与える影響を評価すること。

提案手法

• キーワードマッチングによるパターンマッチングを用いて人間らしい対話を模倣するキーワードベースのチャットボットを構築した。
• システムは、ユーザーの入力を英語またはドイツ語で受け取り、キーワードを特定して事前に定義された返答を取得した。
• オンライン実験を実施し、学習者がチャットボットを会話相手として使用した。
• ユーザーとチャットボットの対話を収集し、長さ、関連性、一貫性について分析した。
• チャットボットの応答メカニズムを逆算して、意味的・構文的分析を欠いたキーワードマッチングに依存していることを理解した。
• 対話の品質を評価するために、11ページの対話、10の表、2つの図を用いた。

実験結果

リサーチクエスチョン

• RQ1 キーワードベースのチャットボットは、言語学習に適した自然で文脈に配慮した会話を継続できるか？
• RQ2 ユーザーはキーワード照合に依存するチャットボットの返答の関連性と一貫性をどのように評価するか？
• RQ3 繰り返し的または話題から外れた返答が、チャットボット環境における言語習得をどの程度妨げるか？
• RQ4 チャットボットが言語理解を欠いている場合、その言語学習補助ツールとしての有用性は低下するか？
• RQ5 パターンマッチングシステムは、言語学習の場面で一貫性ある対話を維持する上で、どのような限界を示すか？

主な発見

• ユーザーとチャットボットの対話は主に短く、関与度が低く、会話の流れが限定的であった。
• チャットボットの大多数の返答は繰り返し的で、ユーザーの入力に対して文脈的に関連性を保てていなかった。
• システムは言語を真正に理解しておらず、意味的・構文的分析を行わず、単にキーワードマッチングに依存していた。
• ユーザーは、返答が不適切または反応が遅いと感じ、しばしば会話を途中で放棄した。
• パターンマッチング機構により、システムは意味的または適応的な返答を生成する能力が著しく制限された。
• 本研究は、キーワードベースのチャットボットが、言語理解の根本的な限界を有するため、外国語教育における補助教師として不適切であると結論づけた。