[論文レビュー] AI-TA: Towards an Intelligent Question-Answer Teaching Assistant using Open-Source LLMs

Yann Hicke, Anmol Agarwal+2 more|arXiv (Cornell University)|Nov 5, 2023

Expert finding and Q&A systems被引用数 7

ひとこと要約

この論文では、RAG、SFT、DPOを用いてLLaMA-2を微調整し、回答の質を向上させる、プライバシー保護型のオープンソース質問応答型教育アシスタントAI-TAを紹介する。CS1のPiazzaデータセットにおいて、回答の質が30%向上し、人間の評価と強い整合性を示し、BertScoreなどの自動評価指標を上回る優れた性能を示した。

ABSTRACT

Responding to the thousands of student questions on online QA platforms each semester has a considerable human cost, particularly in computing courses with rapidly growing enrollments. To address the challenges of scalable and intelligent question-answering (QA), we introduce an innovative solution that leverages open-source Large Language Models (LLMs) from the LLaMA-2 family to ensure data privacy. Our approach combines augmentation techniques such as retrieval augmented generation (RAG), supervised fine-tuning (SFT), and learning from human preferences data using Direct Preference Optimization (DPO). Through extensive experimentation on a Piazza dataset from an introductory CS course, comprising 10,000 QA pairs and 1,500 pairs of preference data, we demonstrate a significant 30% improvement in the quality of answers, with RAG being a particularly impactful addition. Our contributions include the development of a novel architecture for educational QA, extensive evaluations of LLM performance utilizing both human assessments and LLM-based metrics, and insights into the challenges and future directions of educational data processing. This work paves the way for the development of AI-TA, an intelligent QA assistant customizable for courses with an online QA platform

研究の動機と目的

• 大規模なコンピュータサイエンスコースにおけるオンラインQAプラットフォームで、何千もの学生の質問に答えるための人的コストの高い課題に対処すること。
• 第三者のプロprietaryモデルに依存せず、オープンソースLLMを用いてスケーラブルでプライバシーを保護する教育QAシステムを開発すること。
• リtrieval-augmented generation、監視付き微調整、および好みベース最適化の組み合わせにより、回答の質を向上させること。
• 人間がアノテートした基準とLLMベースの評価を併用してモデルの性能を評価し、人間の判断と整合性を確保すること。
• 多様なコースでオンラインQAプラットフォームを活用する知的教育アシスタントを展開可能なカスタマイズ可能で拡張可能なパイプラインを提供すること。

提案手法

• パイプラインは、コース資料を用いたリtrieval-augmented generation (RAG) を統合し、回答を関連するコンテンツに根拠づける。
• LLMのコース固有の言語とコンテンツに合わせるため、10,000件のPiazza QAペアを用いて監視付き微調整 (SFT) を実施する。
• 強化学習のハイパーパrameterチューニングを必要としない軽量な代替手法として、1,500件の好みペアに基づきDirect Preference Optimization (DPO) を用い、回答品質を向上させる。
• ベースモデルは、性能とオープンソース性を兼ね備えたLLaMA-2を選定し、データプライバシーを確保する。
• 評価にはGPT-4をジャッジモデルとして用い、有用性、正確性、全体的な質の観点から人間がアノテートした基準を併用する。
• LLMベースの評価、人間による評価、自動評価（BertScore）の間の相関分析を実施し、整合性を検証する。

Figure 1: Overview of AI-TA ’s pipeline: we combine multiple techniques including (1) Retrieval-Augmented-Generation (RAG) using course materials, (2) Supervised Fine-tuning (SFT) using Piazza QA data, and (3) Learning from human preferences, for which we use Direct Policy Optimization (DPO) as a pr

実験結果

リサーチクエスチョン

• RQ1 LLaMA-2のようなオープンソースLLMは、RAG、SFT、DPOを用いて効果的に微調整され、高品質な教育QA応答を生成できるか？
• RQ2 RAG、SFT、DPOの組み合わせは、実世界の教育QAデータにおいて、ベースラインモデルと比較して回答の質にどのように差をつけるか？
• RQ3 教育QA文脈において、LLMベースの評価と人間がアノテートした品質指標の間にはどの程度の相関があるか？
• RQ4 BertScoreは、人間の評価とLLMベースの評価と比較して、教育的回答の質を測定する上でどの程度有効か？
• RQ5 LLMを用いて教育QAデータを処理・評価する際の主な課題と制限は何であるか？

主な発見

• 提案されたパイプラインは、ベースラインのLLaMA-2モデルと比較して回答の質が30%向上し、RAGが最も大きな影響を与えた。
• 人間による評価では、人間がアノテートした全体的な質とGPT-4を用いたLLMベースの評価との間に中程度から強い相関（r = 0.662）が確認された。
• LLMベースの評価はBertScoreよりも人間の判断と高い一貫性を示し、BertScoreは人間の評価と弱い相関（r = 0.383）を示した。
• 誤分類マトリクスの分析から、LLMの評価は人間の評価者よりも一般的にゆるめであり、多くの場合で高いスコアを付与していることが明らかになった。
• DPOに基づく好み最適化は、複雑な強化学習の構成を必要としない軽量な代替手法として有効であり、RLHFに代わる形で回答品質を向上させた。
• RAGによるコース資料の統合により、生成された回答の事実的正確性と関連性が顕著に向上した。