[論文レビュー] Using Transformers to Provide Teachers with Personalized Feedback on their Classroom Discourse: The TalkMoves Application

Abhijit Suresh, Jennifer Jacobs+5 more|arXiv (Cornell University)|Apr 29, 2021

EFL/ESL Teaching and Learning被引用数 13

ひとこと要約

本論文では、微調整されたトランスフォーマー・モデルを用いてK-12の算数授業の録画データを自動的に分析し、教員に個別化されたフィードバックを提供するクラウドベースのアプリケーション「TalkMoves」を提示する。このシステムは、生徒の関与と学習を向上させることが実証済みの指導的対話戦略「トーク・ムーブ」の分析に、79.3%のF1スコアを達成し、以前のBi-LSTMモデルを著しく上回った。

ABSTRACT

TalkMoves is an innovative application designed to support K-12 mathematics teachers to reflect on, and continuously improve their instructional practices. This application combines state-of-the-art natural language processing capabilities with automated speech recognition to automatically analyze classroom recordings and provide teachers with personalized feedback on their use of specific types of discourse aimed at broadening and deepening classroom conversations about mathematics. These specific discourse strategies are referred to as "talk moves" within the mathematics education community and prior research has documented the ways in which systematic use of these discourse strategies can positively impact student engagement and learning. In this article, we describe the TalkMoves application's cloud-based infrastructure for managing and processing classroom recordings, and its interface for providing teachers with feedback on their use of talk moves during individual teaching episodes. We present the series of model architectures we developed, and the studies we conducted, to develop our best-performing, transformer-based model (F1 = 79.3%). We also discuss several technical challenges that need to be addressed when working with real-world speech and language data from noisy K-12 classrooms.

研究の動機と目的

• 教員の授業内対話に対するフィードバックプロセスを自動化し、人的な観察に依存する時間を削減すること。
• 数学教育における指導法に関する形成的フィードバックの提供におけるスケーラビリティとアクセス性のギャップを解消すること。
• 自動音声認識（ASR）とNLPを活用して、実際の教室録画データからトーク・ムーブを同定・評価する包括的で堅牢なエンドツーエンドのシステムを構築すること。
• 対話の質と生徒の関与に関するタイムリーでデータドリブンなイン사이트を提供することで、教員の専門的発展を促進すること。

提案手法

• 高品質な収録を実現するため、Swivl搭載のタブレットとウェアラブルマイクを用いて教室の音声・映像録画を収集する。
• 音声は、音響的変動や子供の発話パターンに対しても耐性を持つAmazon Transcribeを用いて文字起こしする。
• 文脈埋め込みを用いて、各教員発話が6つの「責任ある対話（Accountable Talk）」ムーブカテゴリのいずれに属するかを分類するトランスフォーマー基盤の深層学習モデルを訓練する。
• 教師発話の直前に続く学生発話を含む入力系列を用いて、アノテート済みの教室トランスクリプトデータセット上でモデルを微調整する。
• フィードバックは各授業エピソードごとに生成され、ウェブインターフェースを通じて提供され、トーク・ムーブの頻度、分布、ベストプラクティスとの整合性が強調される。
• 誤分類のパターンを特定するためのエラー分析を実施し、特に「全員を一緒に保つ」「生徒同士で関連づけさせる」「再表現（Revoicing）」の各ムーブに注目する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のモデルは、本物のK-12算数授業の録画データにおいて、教員のトーク・ムーブを高精度に分類できるか？
• RQ2 ノイズが多く、現実世界の教室データであるにもかかわらず、トランスフォーマー・モデルの性能は、以前のBi-LSTMモデルと比較してどの程度優れているか？
• RQ3 自動音声認識（ASR）の品質が、教室トランスクリプトにおけるトーク・ムーブ分類の正確性にどの程度影響を及えるか？
• RQ4 子供の言語を含む低リソースでノイズが多く、不均衡な教室内音声データにNLPモデルを適用する際に生じる技術的課題は何か？
• RQ5 本システムが、人間の専門家レベルの一貫性に近い信頼性があり実行可能であるフィードバックを生成できるか？

主な発見

• トランスフォーマー基盤のモデルは、79.3%のF1スコアを達成し、以前のBi-LSTMモデルのF1（65%）を著しく上回った。
• 「再表現（Revoicing）」ムーブは、構文的・意味的変異が著しいことから、特に検出が困難で、個別F1スコアは69%にとどまり、最低水準であった。
• 「全員を一緒に保つ」と「生徒同士で関連づけさせる」ムーブのF1スコアはそれぞれ75%および73%であり、対話の整合性を維持する上で中程度ではあるが、最適でない性能であった。
• エラー分析の結果、直前の学生発話を含む限定的な文脈情報が、文脈に依存するムーブの検出においてモデル性能を制限している可能性が示された。
• Amazon Transcribeは、子供の予測不能な発音や音響的変動のため、学生発話を著しく低く評価しており、信頼性が低く、誤り率も高かった。
• ASRの制限にもかかわらず、システム全体の性能は教育的観察研究で許容されるとされる80%の評価者間一致基準に近づいていた。