[論文レビュー] Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model

Su‐Youn Yoon|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、GPT-3.5を用いたワンショットプロンプティングと微調整済みのSentence-BERT (SBERT) モデルを組み合わせることで、16個の手動スコア付きの回答のみで、各サブクエスチョンの分析的スコアと正当化キーを予測する低リソース自動短回答採点モデルを提案する。この手法は、公に提供されているASAGデータセットで67%の正解率と0.71の2次加重カッパを達成し、多数派ベースラインを著しく上回り、正当化キー検出精度も90.3%に達する。

ABSTRACT

In this study, we developed an automated short answer grading (ASAG) model that provided both analytic scores and final holistic scores. Short answer items typically consist of multiple sub-questions, and providing an analytic score and the text span relevant to each sub-question can increase the interpretability of the automated scores. Furthermore, they can be used to generate actionable feedback for students. Despite these advantages, most studies have focused on predicting only holistic scores due to the difficulty in constructing dataset with manual annotations. To address this difficulty, we used large language model (LLM)-based one-shot prompting and a text similarity scoring model with domain adaptation using small manually annotated dataset. The accuracy and quadratic weighted kappa of our model were 0.67 and 0.71 on a subset of the publicly available ASAG dataset. The model achieved a substantial improvement over the majority baseline.

研究の動機と目的

• 大規模なアノテート済みデータセットが入手できない低リソース自動短回答採点（ASAG）の課題に対処すること。
• サブクエスチョンの正当化キーを予測することで、自動採点の解釈可能性を向上させること。
• 各採点基準に対応する関連テキストスパンを特定することで、行動可能なフィードバック生成を可能にすること。
• 大規模言語モデル（LLMs）とドメイン適応型テキスト類似度スコアリングを活用したFew-shot学習により、アノテーションコストを低減すること。
• 特にサブクエスチョンレベルの採点において、LLMベースのワンショットプロンプティングが低データ環境で有効に機能するかを評価すること。

提案手法

• 完全な微調整を必要としない、ワンショットプロンプティングによるGPT-3.5の活用により、ルーブリックから参照回答を生成する。
• 学生の回答と参照回答の間の意味的類似度スコアを、小規模な手動アノテートデータセットで微調整されたSentence-BERT (SBERT) モデルを用いて算出する。
• 小規模なラベル付きデータセットを用いてSBERTモデルのドメイン適応を実施し、ターゲットASAGタスクにおける性能を向上させる。
• SBERT埋め込みに基づき、学生の回答内で参照回答に最も類似するスパンを特定するルールベース手法を用いて正当化キーを抽出する。
• SBERTの類似度スコアに基づくしきい値ベースまたは回帰ベースのアプローチを用いて分析的スコアを割り当てる。
• LLMによる参照回答の拡張を活用して参照セットを豊かにし、低リソース環境における耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 LLMを用いたワンショットプロンプティングは、最小限の人的入力で短回答採点のための参照回答を効果的に生成できるか？
• RQ2 SBERTのドメイン適応は、低リソースASAG状況での性能向上にどのように寄与するか？
• RQ3 参照回答の拡張は、正当化キー検出と最終採点の精度にどのような影響を与えるか？
• RQ4 システムが生成した正当化キーは、手動アノテーションと比較してどの程度正確に検出できるか？
• RQ5 分析的スコアと正当化キーの共同予測は、低データ環境における全体的なASAG性能を向上させることができるか？

主な発見

• ワンショット＋SBERTモデルは、ASAGデータセットで67%の正解率と0.71の2次加重カッパを達成し、多数派ベースライン比で相対誤差を27%削減した。
• 正当化キー検出精度は90.3%に達し、216件中195件でシステム生成キーが手動アノテーションと少なくとも90%重複した。
• アブレーションスタディの結果、ドメイン適応が性能向上の主な要因であり、ドメイン適応が施された状態では参照回答拡張の影響は限定的であった。
• ベースラインのSBERTモデル（正解率: 0.44）と参照拡張モデル（正解率: 0.52）を上回ったことから、ドメイン適応の重要性が明確になった。
• 1問あたり16件の手動スコア付き回答のみで、ベンチマークモデルの学習データの5%未満で顕著な性能向上を達成した。
• 強力な性能を示したが、依然として人間の水準に大きく劣っており、実運用におけるさらなる改善の余地があることが示された。