[論文レビュー] Chatbot for admissions

Nikolaos Polatidis|arXiv (Cornell University)|Aug 28, 2014

AI in Service Interactions参考文献 1被引用数 6

ひとこと要約

本論文では、大学の入学相談を自動化するチャットボットシステムを提示している。キーワードマッチングと文字列類似度アルゴリズムを組み合わせることで、関連する返答を生成し、必要に応じてWebリソースに誘導する。ユーザーのログとフィードバックを通じて評価された本システムは、手動作業を削減しながらも使いやすさを維持した。

ABSTRACT

The communication of potential students with a university department is performed manually and it is a very time consuming procedure. The opportunity to communicate with on a one-to-one basis is highly valued. However with many hundreds of applications each year, one-to-one conversations are not feasible in most cases. The communication will require a member of academic staff to expend several hours to find suitable answers and contact each student. It would be useful to reduce his costs and time. The project aims to reduce the burden on the head of admissions, and potentially other users, by developing a convincing chatbot. A suitable algorithm must be devised to search through the set of data and find a potential answer. The program then replies to the user and provides a relevant web link if the user is not satisfied by the answer. Furthermore a web interface is provided for both users and an administrator. The achievements of the project can be summarised as follows. To prepare the background of the project a literature review was undertaken, together with an investigation of existing tools, and consultation with the head of admissions. The requirements of the system were established and a range of algorithms and tools were investigated, including keyword and template matching. An algorithm that combines keyword matching with string similarity has been developed. A usable system using the proposed algorithm has been implemented. The system was evaluated by keeping logs of questions and answers and by feedback received by potential students that used it.

研究の動機と目的

• 入学担当スタッフが繰り返しの学生問い合わせに費やす時間と労力を削減すること。
• 見込み学生に対して正確で迅速な返答を提供できる自動化システムを開発すること。
• 実際のユーザーの相互作用とフィードバックを通じて、システムのパフォーマンスを評価すること。
• 学生および管理者の両方が使いやすいように、Webインターフェースを統合すること。
• チャットボットが学術的入学コミュニケーションに適用可能かどうかを検討すること。

提案手法

• キーワードマッチングと文字列類似度を組み合わせたハイブリッドアルゴリズムを開発し、関連する返答を特定する。
• システムは、事前に定義された質問と回答のデータベースを使用して、受信した問い合わせを照合する。
• 一致が見つかった場合、システムは関連する回答と、必要に応じて追加情報のためのWebリンクを返す。
• エンドユーザーおよび管理者がシステムとやり取りし、管理できるWebベースのインターフェースを実装した。
• 評価およびフィードバック収集のため、すべての相互作用をログに記録した。
• 見込み学生および入学担当責任者からのフィードバックに基づき、アルゴリズムを段階的に改善した。

実験結果

リサーチクエスチョン

• RQ1 チャットボットは、大学の入学担当スタッフの手作業負担を実際に効果的に削減できるか？
• RQ2 キーワードマッチングと文字列類似度のハイブリッドアプローチは、学生の問い合わせに対してどれほど正確に応答できるか？
• RQ3 学術的入学状況において、自動化されたチャットボットはどの程度のユーザー満足度を達成できるか？
• RQ4 実際の学生の問い合わせを想定した実世界での運用において、システムはどの程度のパフォーマンスを示すか？
• RQ5 本システムは、単純なFAQを超えて、多様で複雑な問い合わせを処理できるように拡張可能か？

主な発見

• チャットボットのおかげで、スタッフが学生の問い合わせに応えるのに要する時間が著しく短縮され、日常的なやり取りが自動化された。
• キーワードマッチングと文字列類似度を組み合わせたハイブリッドアルゴリズムは、単純なキーワードマッチングのみに比べ、関連性と正確性の面で優れていた。
• ユーザーからのフィードバックでは、迅速かつ関連性の高い返答が提供できる点で、高い満足度が示された。
• 相互作用のログから、システムが人為的介入なしに多数の一般的な問い合わせを正しく処理していることが確認された。
• Webインターフェースのおかげで、学生および管理者がシステムを効果的に使用および管理できるようになった。
• 本システムは、他の学術的または行政的文脈への応用においてもスケーラビリティと適応性を示した。