[논문 리뷰] The AI Teacher Test: Measuring the Pedagogical Ability of Blender and GPT-3 in Educational Dialogues

Anaïs Tack, Chris Piech|arXiv (Cornell University)|2022. 05. 16.

Topic Modeling인용 수 37

한 줄 요약

이 논문은 인간-루프 쌍대 비교를 사용한 AI 교사 테스트를 제안하여 Blender와 GPT-3를 인간 교사와 비교하여 세 가지 교수 능력에서 평가하고, AI 교사가 특히 도움 제공 측면에서 인간에 뒤처진다고 발견했다.

ABSTRACT

How can we test whether state-of-the-art generative models, such as Blender and GPT-3, are good AI teachers, capable of replying to a student in an educational dialogue? Designing an AI teacher test is challenging: although evaluation methods are much-needed, there is no off-the-shelf solution to measuring pedagogical ability. This paper reports on a first attempt at an AI teacher test. We built a solution around the insight that you can run conversational agents in parallel to human teachers in real-world dialogues, simulate how different agents would respond to a student, and compare these counterpart responses in terms of three abilities: speak like a teacher, understand a student, help a student. Our method builds on the reliability of comparative judgments in education and uses a probabilistic model and Bayesian sampling to infer estimates of pedagogical ability. We find that, even though conversational agents (Blender in particular) perform well on conversational uptake, they are quantifiably worse than real teachers on several pedagogical dimensions, especially with regard to helpfulness (Blender: Δ ability = -0.75; GPT-3: Δ ability = -0.93).

연구 동기 및 목표

• AI 교사를 교육 대화에서의 대화 채택을 넘어서 평가할 필요성을 촉진한다.
• 교수적 능력을 측정하기 위한 인간-인-루프(human-in-the-loop), 쌍대 비교(pairwise-comparison) 접근법을 제안한다.
• 세 가지 교수적 차원에서 Blender와 GPT-3가 인간 교사와 어떻게 비교되는지 정량화한다.
• AI 교육 에이전트의 자율적 개선을 촉진하기 위한 오픈 소스 데이터, 코드, 방법론을 제공한다.

제안 방법

• 실제 교육 대화에서 Blender와 GPT-3를 실행하고 학생의 발화를 대상으로 병행 AI 교사 응답을 생성한다.
• 무작위 아이템 선택을 사용하여 세 가지 교수 능력에 걸친 온라인 비교 평가를 통해 인간 판단을 수집한다.
• 잠재 능력 매개변수를 추정하고 응답을 능력 순으로 순위를 매기기 위해 Bayesian Bradley-Terry 모델을 사용한다.
• 쌍대 비교에서 홈필드 효과를 포착하고 동점을 처리하기 위해 절편 파라미터를 도입한다.
• Stan에서 4,000개의 Hamiltonian Monte Carlo 샘플을 적용하여 능력 추정치의 사후 평균과 95% HDI 신뢰 구간을 얻는다.
• 대 uptake 및 세 가지 교수 차원에서 AI 응답을 인간 교사 응답과 비교한다.

실험 결과

연구 질문

• RQ1 최신 대화 에이전트가 교육 대화에서 인간 교사만큼 교사처럼 말하고, 학생을 이해하며, 학생을 돕는가?
• RQ2 세 가지 교수 능력 차원에서 Blender와 GPT-3가 인간 교사와 어떻게 비교되는가?
• RQ3 AI 교사의 대화 참여도와 측정된 교수 능력 사이의 관계는 무엇인가?
• RQ4 베이지안 쌍대 비교가 AI 교사 응답에 대해 얼마나 신뢰할 수 있는 능력 점수와 순위를 제공할 수 있는가?

주요 결과

• Blender (9B)은 다른 모델보다 우수하고 언어 및 수학 대화에서 대화 참여도 측면에서 일부 AI 응답을 능가한다.
• GPT-3은 세 가지 차원 모두에서 Blender와 인간 교사에 비해 교육적 능력이 정량적으로 더 낮게 나타난다.
• 인간 교사와 비교할 때 Blender와 GPT-3는 교사처럼 말하기, 학생 이해하기, 학생 돕기 면에서 유의하게 낮다.
• 교육적 능력 추정치는 대화 참여도와 상관관계가 있으며, 학생 이해에 가장 강한 연관이 있다.
• 다수의 맥락에서 인간 교사 응답이 긍정적으로 평가되지만, AI 응답도 많은 맥락에서 긍정적으로 평가되어 AI 출력에서 더 나은 응답을 샘플링할 가능성을 시사한다.