[論文レビュー] The AI Teacher Test: Measuring the Pedagogical Ability of Blender and GPT-3 in Educational Dialogues

Anaïs Tack, Chris Piech|arXiv (Cornell University)|May 16, 2022

Topic Modeling被引用数 37

ひとこと要約

この論文は、人間-in-the-loopのペアワイズ比較を用いて、BlenderとGPT-3を人間の教師と比較評価するAI教師テストを提案し、三つの教育能力で評価した結果、AI教師は人間に遅れをとり特に有用性で劣る。

ABSTRACT

How can we test whether state-of-the-art generative models, such as Blender and GPT-3, are good AI teachers, capable of replying to a student in an educational dialogue? Designing an AI teacher test is challenging: although evaluation methods are much-needed, there is no off-the-shelf solution to measuring pedagogical ability. This paper reports on a first attempt at an AI teacher test. We built a solution around the insight that you can run conversational agents in parallel to human teachers in real-world dialogues, simulate how different agents would respond to a student, and compare these counterpart responses in terms of three abilities: speak like a teacher, understand a student, help a student. Our method builds on the reliability of comparative judgments in education and uses a probabilistic model and Bayesian sampling to infer estimates of pedagogical ability. We find that, even though conversational agents (Blender in particular) perform well on conversational uptake, they are quantifiably worse than real teachers on several pedagogical dimensions, especially with regard to helpfulness (Blender: Δ ability = -0.75; GPT-3: Δ ability = -0.93).

研究の動機と目的

• 教育対話における会話の uptake のみでなく、AI教師を評価する必要性を動機づける。
• 人間-in-the-loop、ペアワイス・比較アプローチを提案し、教育的能力を測定する。
• BlenderとGPT-3が三つの教育的次元で人間の教師とどのように比較されるかを定量化する。
• オープンソースのデータ、コード、方法論を提供し、AI教育エージェントの自律的改善を促進する。

提案手法

• 実際の教育対話でBlenderとGPT-3を実行し、学生の発話に対する並行AI教師応答を生成する。
• オンラインの比較評価を用いて、ランダムなアイテム選択で三つの教育的能力に対する人間の判断を収集する。
• ベイズ・ブラッドリー-テリーモデルを用いて潜在的な能力パラメータを推定し、能力で応答をランキングする。
• ホームフィールド効果を捉えるインターセプトパラメータを組み込み、ペアワイズ比較の同点を扱う。
• Stanで4000回のHamiltonian Monte Carloサンプルを適用し、能力推定の事後平均と95%HDI可信区間を得る。
• uptake と三つの教育的次元でAI応答を人間の教師の応答と比較する。

実験結果

リサーチクエスチョン

• RQ1 最先端の対話エージェントは、教育対話において教師のように話し、学生を理解し、学生を助けることが、人間の教師と同等にできるか。
• RQ2 BlenderとGPT-3は三つの教育的能力の点で人間の教師とどのように比較されるか。
• RQ3 会話 uptake と測定された教育的能力との関係はAI教師にとってどうか。
• RQ4 ベイズ的ペアワイズ比較はAI教師の応答に対して信頼性の高い能力スコアとランキングを提供できるか。

主な発見

• Blender (9B) は他のモデルより優れており、言語と数学の対話における会話 uptake で一部のAI応答を超える。
• GPT-3 は三つの次元すべてで Blender および人間の教師より定量的に低い教育的能力を示す。
• 人間の教師と比較して、Blender と GPT-3 は、教師のように話す、学生を理解する、学生を助けるの三点で有意に劣る。
• 教育的能力の推定は会話 uptake と相関し、理解することとの関連が最も強い。
• 人間の教師の応答の方が好意的に評価される割合が大きいが、AIの応答も多くの文脈で肯定的に評価されており、AI出力からより良い返信をサンプリングできる可能性を示す。