[論文レビュー] Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings

Veronika Hackl, Alexandra Elena Müller+2 more|arXiv (Cornell University)|Aug 3, 2023

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 4

ひとこと要約

本研究では、繰り返し評価を行う際のGPT-4の学生回答に対する評価の一貫性を、構造化されたプロンプトを用いて高等教育のマクロ経済学課題における内容とスタイルの両面を評価することで検証した。GPT-4は高い評価者間信頼性（ICC 0.94–0.99）を示し、内容とスタイルを効果的に区別した。スタイルの再表現に対しても内容評価は安定していたが、スタイルが不適切な場合にのみスタイル評価が低下したため、一貫性があり頑健な評価能力であることが示された。

ABSTRACT

This study investigates the consistency of feedback ratings generated by OpenAI's GPT-4, a state-of-the-art artificial intelligence language model, across multiple iterations, time spans and stylistic variations. The model rated responses to tasks within the Higher Education (HE) subject domain of macroeconomics in terms of their content and style. Statistical analysis was conducted in order to learn more about the interrater reliability, consistency of the ratings across iterations and the correlation between ratings in terms of content and style. The results revealed a high interrater reliability with ICC scores ranging between 0.94 and 0.99 for different timespans, suggesting that GPT-4 is capable of generating consistent ratings across repetitions with a clear prompt. Style and content ratings show a high correlation of 0.87. When applying a non-adequate style the average content ratings remained constant, while style ratings decreased, which indicates that the large language model (LLM) effectively distinguishes between these two criteria during evaluation. The prompt used in this study is furthermore presented and explained. Further research is necessary to assess the robustness and reliability of AI models in various use cases.

研究の動機と目的

• GPT-4のテキスト評価が、複数回の反復評価、時間的経過、およびスタイルの変化に対して、高等教育の文脈で一貫しているかを評価すること。
• フォーマティブ評価におけるGPT-4の信頼性を、学生回答の内容とスタイルの両側面について評価すること。
• GPT-4が、書かれた回答における内容の質とスタイルの質を、信頼性を持って区別できるかを検討すること。
• BMBF資金支援のDeepWriteプロジェクトのような実際の教育的状況にAI生成フィードバックを統合する基盤を提供すること。
• 評価の安定性と相関関係を分析することで、今後のプロンプト工学および教育的評価におけるAI統合を支援する情報の提供

提案手法

• GPT-4に、マクロ経済学の学生回答について、内容とスタイルの2つの次元で評価するよう標準化された詳細なプロンプトを提示した。
• 同じ回答の再表現版を用いて、複数の時間的時点での評価を実施し、変化に対する一貫性をテストした。
• 繰り返し評価における評価者間信頼性を測定するために、クラス内相関（ICC）を計算した。
• 内容評価とスタイル評価の関係を評価するためにピアソン積率相関を算出した。
• GPT-4のスコア評価行動におけるバイアスや傾向を検出するために、スコア分布の歪度を分析した。
• 統計的分析では、異なる時間間隔や回答バージョン間でのICC値の比較を通じて、安定性を評価した。

Figure 1: Flowchart: Generated texts

実験結果

リサーチクエスチョン

• RQ1 GPT-4の評価は、時間の経過とともに同じ回答に対して繰り返し評価された際、どの程度一貫しているか？
• RQ2 GPT-4は、学生の文章における内容の質とスタイルの質をどの程度信頼性高く区別できるか？
• RQ3 回答のスタイルに変化を加えると、GPT-4の内容評価とスタイル評価にどのような影響が生じるか？
• RQ4 ICCを用いて測定したGPT-4の評価者間信頼性は、異なる時間間隔や回答バージョンにおいてどの程度の水準にあるか？
• RQ5 スコア分布の歪度によって示される、GPT-4の評価に系統的なバイアスがあるか？

主な発見

• GPT-4は、異なる時間間隔においてICCスコアが0.94～0.99の範囲で推移し、繰り返し評価において強い一貫性を示した。
• 内容評価とスタイル評価の間の相関は0.87と高く、両者が関連しているものの、別個の評価基準として明確に扱われていることが示された。
• スタイルが不適切な表現に再構成された場合、内容評価は安定していたが、スタイル評価は低下したため、GPT-4が内容とスタイルを的確に分離して評価できていることが確認された。
• 内容評価はわずかに右歪み（平均歪度 ≈ 0.10）を示し、平均的な内容スコアがやや寛容または高い傾向にあることを示唆した。
• スタイル評価は左歪み（平均歪度 ≈ -0.03）を示し、スタイル評価においてより厳格または慎重な基準が適用されている可能性を示唆した。
• 数週間の時間隔を空けて評価を比較した場合、ICC値は低下傾向にあったが、依然として高い信頼性範囲内にあった。