[논문 리뷰] The TalkMoves Dataset: K-12 Mathematics Lesson Transcripts Annotated for Teacher and Student Discursive Moves

Abhijit Suresh, Jennifer Jacobs외 4명|arXiv (Cornell University)|2022. 04. 06.

Innovative Teaching and Learning Methods인용 수 11

한 줄 요약

TalkMoves 데이터셋은 계정 가능 대화 이론에 기반한 10개의 담론 이동을 포함한 교사 및 학생의 담론 이동과 Switchboard 코퍼스에서 유래한 대화 액트 애너테이션을 문장 수준에서 레이블링한 K-12 수학 수업 전사본 567건을 제공한다. 이 데이터셋은 교실 담론에 대한 NLP 및 기계학습 연구를 가능하게 하며, 실시간 교사 피드백을 제공하는 TalkMoves 애플리케이션과 같은 도구 개발을 지원하고, 이론 기반의 윤리적인 자료를 바탕으로 교육 분야의 인공지능 발전을 이끈다.

ABSTRACT

Transcripts of teaching episodes can be effective tools to understand discourse patterns in classroom instruction. According to most educational experts, sustained classroom discourse is a critical component of equitable, engaging, and rich learning environments for students. This paper describes the TalkMoves dataset, composed of 567 human-annotated K-12 mathematics lesson transcripts (including entire lessons or portions of lessons) derived from video recordings. The set of transcripts primarily includes in-person lessons with whole-class discussions and/or small group work, as well as some online lessons. All of the transcripts are human-transcribed, segmented by the speaker (teacher or student), and annotated at the sentence level for ten discursive moves based on accountable talk theory. In addition, the transcripts include utterance-level information in the form of dialogue act labels based on the Switchboard Dialog Act Corpus. The dataset can be used by educators, policymakers, and researchers to understand the nature of teacher and student discourse in K-12 math classrooms. Portions of this dataset have been used to develop the TalkMoves application, which provides teachers with automated, immediate, and actionable feedback about their mathematics instruction.

연구 동기 및 목표

• 교실 담론 및 교육 분야의 인공지능 연구를 지원하기 위해 공개 가능하고 윤리적으로 촬영된 K-12 수학 수업 전사본 코퍼스를 구축하기 위해.
• 계정 가능 대화 이론에 기반한 표준화된 애너테이션을 제공함으로써 공개적으로 공유되는 이론 기반의 교실 데이터 부족 문제를 해결하기 위해.
• 실제 수학 수업에서의 교사-학생 담론 패턴을 분석할 수 있는 자연어 처리 및 기계학습 응용을 가능하게 하기 위해.
• 애너테이션된 담론 패턴을 기반으로 자동 피드백 도구 개발을 지원하기 위해.
• 연구의 정당성과 개인정보 보호를 유지하면서도 신뢰할 수 있는 IRB 승인을 확보하고 모든 개인 식별자를 익명화함으로써 윤리적인 데이터 공유를 보장하기 위해.

제안 방법

• K-12 수학 수업의 영상 녹화 자료에서 전사본을 수집하였으며, 대면 및 온라인 수업 모두 포함되며 전체 또는 부분 수업을 포함한다.
• 각 전사본은 발화자(교사 또는 학생)별로 분할되었으며, 계정 가능 대화 이론에서 유도된 10개의 특정 담론 이동에 대해 문장 수준에서 애너테이션되었다.
• 데이터셋은 대화 액트 레이블을 문장 수준에서 포함하고 있으며, 이는 Switchboard 대화 액트 코퍼스에서 유래하여 담론 분석을 향상시킨다.
• 인간 애너테이터들이 전문가의 지도를 받으며 높은 상호 평가 신뢰도를 확보한 표준화된 코딩 체계를 적용하였다.
• 데이터 수집 및 애너테이션은 IRB 승인과 모든 개인 식별자의 익명화를 포함한 엄격한 윤리적 절차를 따르며 수행되었다.
• NLP 작업, 예를 들어 담론 이동 예측, 대화 액트 분류, 피드백 시스템 개발을 지원하도록 데이터셋이 정제되었다.

실험 결과

연구 질문

• RQ1 대규모 공개 전사본 데이터셋이 교육 분야의 자연어 처리 및 인공지능 연구를 어떻게 지원할 수 있는가?
• RQ2 특정 교사 및 학생의 담론 이동은 K-12 수학 수업에서 공정하고 도전적인 담론을 얼마나 잘 예측할 수 있는가?
• RQ3 계정 가능 대화 이론에 기반한 담론 애너테이션은 고 상호 평가 신뢰도를 확보하면서 실제 교실 전사본에 신뢰성 있게 적용될 수 있는가?
• RQ4 Switchboard 코퍼스의 대화 액트 레이블은 수학 수업의 교육적 담론 패턴과 얼마나 잘 일치하는가?
• RQ5 이 데이터셋은 교사에게 실시간 피드백을 제공하는 대화형 AI 에이전트를 훈련시키는 데 어떤 잠재력을 지니는가?

주요 결과

• TalkMoves 데이터셋은 계정 가능 대화 이론에 기반한 교사 및 학생의 담론 이동에 대해 100% 애너테이션된 K-12 수학 수업 전사본 567건을 포함한다.
• 데이터셋은 높은 빈도와 높은 상호 평가 신뢰도를 확보한 6개의 교사 담론 이동과 4개의 학생 담론 이동에 대해 문장 수준의 애너테이션을 포함한다.
• Switchboard 코퍼스의 대화 액트 레이블이 교실 담론에 성공적으로 매핑되어 교육적 대화의 이론 간 분석이 가능해졌다.
• 이 데이터셋은 향후 담론 이동 예측(FTMP) 모델 훈련에 사용되었으며, 이는 수업에서 실시간 피드백 시스템에 핵심적인 과제이다.
• 국립 AI 연구소에서 이 데이터셋을 활용하여 계정 가능 대화 프레임워크의 일반화 가능성을 과학 수업 및 기타 학문 분야에 대해 탐색하고 있다.
• 이 데이터셋은 어린이 중심의 음성 인식 모델 개발을 위한 연구자들에게 공유되어 기존 NLP 과제를 넘어서는 유용성을 입증하고 있다.