[論文レビュー] EduChat: A Large-Scale Language Model-based Chatbot System for Intelligent Education

Yuhao Dan, Zhikai Lei+14 more|arXiv (Cornell University)|Aug 5, 2023

AI in Service Interactions被引用数 34

ひとこと要約

EduChatは、領域特化の事前学習、教育に焦点を当てた指示でのファインチューニング、そして retrieval-augmented open QA を組み合わせたオープンソースのLLMベース教育チャットボットで、オープン質問、エッセイ評価、ソクラテス式教育、感情サポートを改善します。

ABSTRACT

EduChat (https://www.educhat.top/) is a large-scale language model (LLM)-based chatbot system in the education domain. Its goal is to support personalized, fair, and compassionate intelligent education, serving teachers, students, and parents. Guided by theories from psychology and education, it further strengthens educational functions such as open question answering, essay assessment, Socratic teaching, and emotional support based on the existing basic LLMs. Particularly, we learn domain-specific knowledge by pre-training on the educational corpus and stimulate various skills with tool use by fine-tuning on designed system prompts and instructions. Currently, EduChat is available online as an open-source project, with its code, data, and model parameters available on platforms (e.g., GitHub https://github.com/icalk-nlp/EduChat, Hugging Face https://huggingface.co/ecnu-icalk ). We also prepare a demonstration of its capabilities online (https://vimeo.com/851004454). This initiative aims to promote research and applications of LLMs for intelligent education.

研究の動機と目的

• 心理学と教育理論が一般的なLLMを教育領域へ適用する方法を探る。
• 大規模な教育コーパスで事前学習を行い領域知識を学習する。
• 教育特有の機能を活性化するためタスク指向の指示でファインチューニングする。
• 知識を最新の状態に保ち、幻覚を低減するためにリトリーバルを組み込む。
• 教育重心のAI研究を加速させるためEduChatをオープンソースシステムとして公開する。

提案手法

• 教育書籍と質問、詩と心理学テキストを用いて領域知識をエンコードする事前学習を行う。
• 教育機能を活性化する500k件の高品質なカスタマイズ指示でファインチューニングを行う。
• リトリーバル併用オープンQAを用いて最新情報へアクセスし、関連性を自己検証する。
• ソクラテス式教育や感情サポートなどのスキルを活用できるツール使用を管理する多様なシステムプロンプトを設計する。
• 感情サポート対話(ESConv-zh)のデータを翻訳・キュレーションし、エッセイ評価のデータセットを細粒度に開発する。
• データ品質を確保するため、文章ベクトル表現を用いた手動データクリーニングと意味的重複除去を行う。

Figure 1: Distribution of educational data.

実験結果

リサーチクエスチョン

• RQ1 EduChatはエッセイ評価やソクラテス式教育などの教育的能力とLLMをどのように整合させられるか。
• RQ2 リトリーバル併用QAは教育文脈での正確さを向上させ、幻覚を減らすか。
• RQ3 心理学ベースの感情サポートを教育においてファインチューニング済みLLMが効果的に提供できるか。
• RQ4 同規模の一般LLMと比較した場合、専門的な教育ファインチューニングのパフォーマンスへの影響はどうなるか。

主な発見

STEM(科学・技術)	社会科学	人文学	その他	Avg(hard)	Avg
EduChat	36.2	50.7	42.9	37.7	28.3	40.7
EduChat (w Retrieval)	43.5	59.3	53.7	46.6	33.1	49.3

• EduChat（リトリーバル併用）は、科目横断のC-Eval中国語評価で同規模のベースラインを上回る。
• リトリーバル併用EduChatは、リトリーバルなしEduChatより高い平均スコアを達成（報告指標で49.3対40.7）。
• リトリーバル併用QAは、複数分野のベンチマークのパフォーマンスを大幅に向上させ、生成リスクを低減させる。
• 細粒度のエッセイ評価とソクラテス式教育機能は、教育データのターゲット化ファインチューニングによって強化される。
• 心理学ベースの感情サポートにより、EduChatは教育現場で思いやりのあるカウンセラーとして機能できる。

Figure 2: The overall framework of EduChat .