[論文レビュー] Enhancing textual textbook question answering with large language models and retrieval augmented generation

Hessa Abdulrahman Alawwad, Areej Alhothali+3 more|arXiv (Cornell University)|Feb 5, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文は、Llama-2を微調整して教科書の質問応答（TQA）を向上させるためのリtrieval-augmented generation（RAG）フレームワークを提案している。特に、複数の授業にまたがるキーコンセプトを含む「ドメイン外問題」に対処する。ベクトルデータベースから関連するトピックを検索し、それらを全授業の文脈と統合することで、微調整を行わないベースラインLlama-2に比べて、非図解型の複数選択問題においてテストセットで9.84%の精度向上を達成した。

ABSTRACT

Textbook question answering (TQA) is a challenging task in artificial intelligence due to the complex nature of context needed to answer complex questions. Although previous research has improved the task, there are still some limitations in textual TQA, including weak reasoning and inability to capture contextual information in the lengthy context. We propose a framework (PLRTQA) that incorporates the retrieval augmented generation (RAG) technique to handle the out-of-domain scenario where concepts are spread across different lessons, and utilize transfer learning to handle the long context and enhance reasoning abilities. Our architecture outperforms the baseline, achieving an accuracy improvement of 4. 12% in the validation set and 9. 84% in the test set for textual multiple-choice questions. While this paper focuses on solving challenges in the textual TQA, It provides a foundation for future work in multimodal TQA where the visual components are integrated to address more complex educational scenarios. Code: https://github.com/hessaAlawwad/PLR-TQA

研究の動機と目的

• 教科書の質問応答における「ドメイン外問題」に対処すること。ここでの課題は、関連情報が複数の授業に散らばっていることである。
• 大規模言語モデル（LLMs）を用いて、長く複雑な教科書の文章における推論力と文脈理解を向上させること。
• リtrieval-augmented generation（RAG）と監視付き微調整を用いて、CK12-QAデータセットにおける複数選択問題の応答精度を向上させること。
• 長文のTQAシナリオにおいて、再ランク付けを伴う・なしのRAGがモデル性能に与える影響を評価すること。

提案手法

• CK12-QAデータセットを用いて、監視付き微調整（SFT）によりLlama-2を微調整し、教科書の質問応答タスクに適応させた。
• 授業トピックの埋め込みを格納するためのベクトルデータベースを用いて、リtrieval-augmented generation（RAG）パイプラインを実装した。
• 各質問に対して、全データセットから関連するトピックを、密なベクトル類似度（ドット積）を用いて検索し、質問の出典授業を超えた文脈拡張を実現した。
• 全授業と検索されたトピックを、LLMのプロンプトに統合することで、回答生成の質を向上させた。
• 再ランク付け機構を導入し、検索されたトピックの関連性を高め、ノイズを低減することを目的とした。
• 非図解型の複数選択問題について、検証およびテストセットでの精度を用いてモデル性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 概念が複数の授業にまたがる状況において、リtrieval-augmented generation（RAG）は、LLMsの教科書の質問応答性能を向上させることができるか？
• RQ2 他の授業からの検索されたトピックを統合することで、長文のTQAタスクにおけるLLMsの推論力と精度にどのような影響を与えるか？
• RQ3 RAGに再ランク付けモジュールを導入することで、不適切な文脈が追加される可能性があるため、モデル性能は向上するか、劣化するか？
• RQ4 Llama-2を監視付き微調整することで、ベースモデルに比べて、ドメイン特化の教科書QAタスクにおける性能がどの程度向上するか？

主な発見

• ベースラインのLlama-2モデルは、検証セットで38.09%、テストセットで38.54%の精度にとどまり、TQAタスクにおけるゼロショット性能が低いことが示された。
• 再ランク付けなしのRAG統合により、検証セットで83.58%、テストセットで83.80%の精度に向上し、顕著な性能向上が確認された。
• 全授業とRAGで検索されたトピックを統合した結果、検証セットで83.78%、テストセットで81.73%の精度を達成した。これは、コンテキストウィンドウの飽和に起因するわずかな低下を示している。
• 再ランク付けされたトピックを統合した結果、検証セットで80.74%、テストセットで79.22%の精度に低下し、ノイズが多いか不適切な検索結果がモデル推論を劣化させる可能性があることが示された。
• 提案されたRAG強化型で微調整されたLlama-2モデルは、ベースラインLlama-2に比べて、検証セットで4.12%の精度向上、テストセットの非図解型複数選択問題では9.84%の精度向上を達成した。
• 分析の結果、正しく出典授業のトピックを検索できたのは全体の44%にとどまり、再ランク付けを施しても正しく出典授業のトピックを検索できたのは52.43%にとどまることから、ドメイン外シナリオにおいてRAGの必要性が浮き彫りになった。