[논문 리뷰] Using Transformers to Provide Teachers with Personalized Feedback on their Classroom Discourse: The TalkMoves Application

Abhijit Suresh, Jennifer Jacobs외 5명|arXiv (Cornell University)|2021. 04. 29.

EFL/ESL Teaching and Learning인용 수 13

한 줄 요약

이 논문은 K-12 수학 수업 영상 기록을 자동으로 분석하고 교사에게 개인화된 피드백을 제공하기 위해 미세조정된 트랜스포머 모델을 사용하는 클라우드 기반 응용 프로그램인 TalkMoves를 제시한다. 이는 학생의 참여도와 학습 향상에 기여하는 것으로 입증된 '대화 이동'(talk moves)이라는 지도적 대화 전략을 분석한다. 시스템은 교사 발언을 특정 대화 이동 카테고리로 분류하는 데 F1 스코어 79.3%를 기록하며, 이는 이전의 Bi-LSTM 모델보다 유의미하게 뛰어나다.

ABSTRACT

TalkMoves is an innovative application designed to support K-12 mathematics teachers to reflect on, and continuously improve their instructional practices. This application combines state-of-the-art natural language processing capabilities with automated speech recognition to automatically analyze classroom recordings and provide teachers with personalized feedback on their use of specific types of discourse aimed at broadening and deepening classroom conversations about mathematics. These specific discourse strategies are referred to as "talk moves" within the mathematics education community and prior research has documented the ways in which systematic use of these discourse strategies can positively impact student engagement and learning. In this article, we describe the TalkMoves application's cloud-based infrastructure for managing and processing classroom recordings, and its interface for providing teachers with feedback on their use of talk moves during individual teaching episodes. We present the series of model architectures we developed, and the studies we conducted, to develop our best-performing, transformer-based model (F1 = 79.3%). We also discuss several technical challenges that need to be addressed when working with real-world speech and language data from noisy K-12 classrooms.

연구 동기 및 목표

• 교사 수업 대화에 대한 피드백 과정을 자동화하여 수작업 관찰에 의존도를 낮추는 것.
• 수학 교육 분야에서 지도 실천에 대한 형성적 피드백을 제공하는 데서 발생하는 확장성과 접근성 격차를 해소하는 것.
• 자동 음성 인식과 NLP를 활용하여 실제 수업 기록에서 대화 이동을 식별하고 평가하는 종단 간 시스템을 개발하는 것.
• 수업 대화 품질과 학생 참여도에 대한 시의적이고 데이터 기반의 통찰을 제공함으로써 교사 전문성 발전을 향상시키는 것.

제안 방법

• 스위블(_swivl_) 기반 태블릿과 웨어러블 마이크를 사용하여 수업의 오디오 및 비디오 기록을 확보함으로써 소음 환경에서도 고품질 캡처를 보장한다.
• 음성은 아두이노 트랜스크립트( _Amazon Transcribe_)를 통해 텍스트로 변환되며, 음향적 변동성과 어린이의 언어 패턴에도 불구하고 작동한다.
• 맥락 임bedding를 사용하여 각 교사 발언을 여섯 가지 책임감 있는 대화 이동 카테고리 중 하나로 분류하기 위해 트랜스포머 기반 딥 러닝 모델을 훈련시킨다.
• 입력 시퀀스는 바로 이전의 학생 발언이 뒤이은 교사 발언으로 구성되며, 주석이 된 수업 전사본 데이터셋을 기반으로 모델을 미세조정한다.
• 피드백은 수업 단위로 생성되어 웹 인터페이스를 통해 제공되며, 대화 이동 빈도, 분포, 최선의 실천 기준과의 일치도를 강조한다.
• 오류 분석을 통해 특히 '모든 사람을 함께 유지하기', '학생들이 관련된 대화로 이끌기', '재진술하기' 등의 이동에 대한 잘못된 분류 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 실제 K-12 수학 수업 기록에서 교사의 대화 이동을 높은 성능으로 분류할 수 있는가?
• RQ2 노이즈가 많은 실제 수업 데이터에서 트랜스포머 모델의 성능은 이전의 Bi-LSTM 모델과 비교해 어떻게 다른가?
• RQ3 자동 음성 인식(ASR)의 품질이 수업 전사본에서 대화 이동 분류 정확도에 어떤 영향을 미치는가?
• RQ4 어린이 언어를 포함한 저자원, 노이즈가 많은, 불균형한 수업 음성 데이터에 NLP 모델을 적용할 때 발생하는 주요 기술적 과제는 무엇인가?
• RQ5 시스템이 인간 전문가 수준의 일관성에 도달하는 수준으로 신뢰할 수 있고 실행 가능한 피드백을 생성할 수 있는가?

주요 결과

• 트랜스포머 기반 모델은 F1 스코어 79.3%를 기록하며, 이는 이전 Bi-LSTM 모델의 F1 65%보다 유의미한 향상이다.
• '재진술하기'(Revoicing) 대화 이동은 개별 F1 스코어가 69%로 가장 낮아 탐지에 특히 어려움을 겪었으며, 문법적·의미적 변동성으로 인해 그럴 가능성이 높다.
• '모든 사람을 함께 유지하기'와 '학생들이 관련된 대화로 이끌기' 이동은 각각 F1 스코어 75%와 73%를 기록하여 논의의 연속성 유지에 있어 중간 수준이지만 최적의 성능은 아니었다.
• 오류 분석 결과, 바로 이전의 학생 발언만을 고려하는 제한된 맥락이 특히 맥락 민감도가 높은 이동에 대해 모델 성능을 제약할 수 있음을 밝혀냈다.
• 아마존 트랜스크립트는 어린이의 예측 불가능한 발음과 음향적 변동성로 인해 학생의 발언을 심각하게 과소평가했으며, 낮은 신뢰도와 높은 오류율을 보였다.
• ASR의 한계에도 불구하고, 시스템의 총괄 성능는 교육 관찰 연구에서 허용 가능한 수준으로 간주되는 80%의 상호 평가 일致성 기준에 근접해 있다.