[論文レビュー] Distilling ChatGPT for Explainable Automated Student Answer Assessment

Jiazheng Li, Lin Gui+4 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、説明可能な自動学生回答評価のため、ChatGPTの推論生成能力をより小型で効率的な言語モデルに蒸留するフレームワークAERAを提案する。精密に調整されたテンプレートでChatGPTをプロンプトし、推論の精錬を施すことで、ChatGPTを上回る11%のQWK（二次加重 kappa）スコア向上を達成した。同時に、人間が評価した推論の質と同等の水準を達成した。

ABSTRACT

Providing explainable and faithful feedback is crucial for automated student answer assessment. In this paper, we introduce a novel framework that explores using ChatGPT, a cutting-edge large language model, for the concurrent tasks of student answer scoring and rationale generation. We identify the appropriate instructions by prompting ChatGPT with different templates to collect the rationales, where inconsistent rationales are refined to align with marking standards. The refined ChatGPT outputs enable us to fine-tune a smaller language model that simultaneously assesses student answers and provides rationales. Extensive experiments on the benchmark dataset show that the proposed method improves the overall QWK score by 11% compared to ChatGPT. Furthermore, our thorough analysis and human evaluation demonstrate that the rationales generated by our proposed method are comparable to those of ChatGPT. Our approach provides a viable solution to achieve explainable automated assessment in education. Code available at https://github.com/lijiazheng99/aera.

研究の動機と目的

• 大規模言語モデルを用いた説明可能な自動学生回答評価フレームワークの開発。
• 既存の学生評価データセットに推論アノテーションが不足している問題を、ChatGPTの推論能力を活用することで解決。
• 評価意思決定を正当化する自然言語の推論を生成することで、モデルの解釈可能性を向上。
• ChatGPTの推論能力をより小型で効率的な言語モデルに蒸留し、実用的導入を可能に。
• 人間による評価とベンチマーク比較を通じて、生成された推論の品質を検証。

提案手法

• 学生の回答に対してChatGPTから推論を生成するよう誘導する複数のプロンプトテンプレートの設計。
• 一貫性のない、または低品質な推論を是正するための推論精錬モジュールの適用。これにより、採点基準に整合させる。
• 精錬済みの推論-スコアペアを用いて、より小型の言語モデルを微調整。これにより、スコア付けと説明生成の両方を同時に行えるようにする。
• 蒸留の前段階で、ChatGPTの推論の整合性と忠実性を向上させる二段階プロンプト戦略の採用。
• 推論の正しさを評価する自動指標が存在しないため、人間による評価を用いて推論品質を評価。
• スコア付けと推論生成の両方を一貫して行えるように、蒸留モデルをエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTのような大規模言語モデルは、追加の人的推論アノテーションデータがなくても、学生回答評価のための高品質な推論を生成できるか？
• RQ2 大規模言語モデルが生成する一貫性のない、または忠実性の低い推論を、どのようにして公式の評価基準に整合させるように体系的に精錬できるか？
• RQ3 より小型で蒸留された言語モデルは、元のLLM（例：ChatGPT）よりも、スコア付けの正確性と推論品質の両面で優れているか？
• RQ4 蒸留モデルが生成する推論は、人間がアノテートした推論と比べて、明確さ、関連性、忠実性の観点でどの程度一致するか？
• RQ5 蒸留フレームワークは、高性能を維持しつつ、軽量で実装可能なモデルを効果的に生成できるか？

主な発見

• 提案されたAERAフレームワークにより、ChatGPTを直接使用する場合と比較して、全体の二次加重kappa（QWK）スコアが11%向上した。
• 小型の蒸留言語モデルは、人間による評価によると、ChatGPTと同等の質の推論を生成しながら、評価性能においてChatGPTを上回った。
• 推論精錬戦略により、ChatGPTが生成する推論の整合性と公式採点基準への適合性が顕著に向上した。
• 人間評価者により、蒸留モデルが生成する推論は、信頼性が高く、解釈可能であると評価された。ChatGPTと比較して品質に著しい劣化は認められなかった。
• 高品質で説明可能な自動評価を、高価な人的推論アノテーションデータが不要な状態で実現可能となった。
• ChatGPTのような強力なLLMからの蒸留により、教育的評価に適したコンパクトで効率的かつ効果的なモデルが得られることを示した。