[論文レビュー] The TalkMoves Dataset: K-12 Mathematics Lesson Transcripts Annotated for Teacher and Student Discursive Moves

Abhijit Suresh, Jennifer Jacobs+4 more|arXiv (Cornell University)|Apr 6, 2022

Innovative Teaching and Learning Methods被引用数 11

ひとこと要約

TalkMovesデータセットは、責任ある会話理論に基づく10の議論的移動行動（教師および生徒の会話行動を含む）と、Switchboardコーパスからの会話行動アノテーションを文単位でラベル付けした、K-12数学授業の567件の人的アノテーション付きトランスクリプトを提供する。このデータセットは、教室内会話のNLPおよび機械学習研究を可能にし、リアルタイムの教師フィードバックを提供するTalkMovesアプリケーションの開発を支援し、理論的根拠に基づき、倫理的に整備されたリソースとして教育分野におけるAIの発展を促進する。

ABSTRACT

Transcripts of teaching episodes can be effective tools to understand discourse patterns in classroom instruction. According to most educational experts, sustained classroom discourse is a critical component of equitable, engaging, and rich learning environments for students. This paper describes the TalkMoves dataset, composed of 567 human-annotated K-12 mathematics lesson transcripts (including entire lessons or portions of lessons) derived from video recordings. The set of transcripts primarily includes in-person lessons with whole-class discussions and/or small group work, as well as some online lessons. All of the transcripts are human-transcribed, segmented by the speaker (teacher or student), and annotated at the sentence level for ten discursive moves based on accountable talk theory. In addition, the transcripts include utterance-level information in the form of dialogue act labels based on the Switchboard Dialog Act Corpus. The dataset can be used by educators, policymakers, and researchers to understand the nature of teacher and student discourse in K-12 math classrooms. Portions of this dataset have been used to develop the TalkMoves application, which provides teachers with automated, immediate, and actionable feedback about their mathematics instruction.

研究の動機と目的

• K-12数学授業トランスクリプトの公開可能で、倫理的に整備されたコーパスを構築し、教室内会話研究および教育分野におけるAI研究を支援すること。
• 責任ある会話理論に基づく、標準化されたアノテーションが施されたトランスクリプトを提供することで、公開済みで理論的根拠を持つ教室データの不足を補うこと。
• 教師と生徒の会話パターンを分析する自然言語処理および機械学習の応用を可能にし、現実の数学授業における教室内会話分析を支援すること。
• アノテートされた会話パターンを基盤として、教師向けの自動フィードバックツールの開発を支援すること。
• 研究の整合性とプライバシーを保ちながら、個人識別子の匿名化とIRB承認を経て、倫理的なデータ共有を確保すること。

提案手法

• K-12数学授業の動画録画からトランスクリプトを収集し、対面およびオンライン形式を含む、完全または部分的な授業カバーを対象とした。
• 各トランスクリプトは発話者（教師または生徒）ごとにセグメント化され、責任ある会話理論に基づく10の特定の会話移動行動について文単位でアノテーションが施された。
• データセットには、Switchboard対話行動コーパスから抽出された、発話単位の会話行動ラベルが含まれており、会話分析を強化している。
• 人的アノテーターが、責任ある会話理論および教育的会話分野の専門家による指導のもと、標準化されたコーディング方式を用い、高い評価者間信頼性を達成した。
• データ収集およびアノテーションは、IRB承認およびすべての個人識別子の匿名化を含む厳密な倫理的プロトコルに従った。
• NLPタスク（会話移動予測、対話行動分類、フィードバックシステム開発など）を支援するようにデータセットがキュレートされた。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ公開可能なアノテート済み教室トランスクリプトデータセットは、教育分野におけるNLPおよびAI研究をどのように支援できるか？
• RQ2 特定の教師および生徒の会話移動行動は、K-12数学授業における公平で厳密な会話状況をどの程度予測できるか？
• RQ3 責任ある会話理論に基づく会話アノテーションは、現実の教室トランスクリプトに高い評価者間信頼性で信頼性を持って適用可能か？
• RQ4 Switchboardコーパスからの会話行動ラベルは、数学授業における教育的会話パターンとどの程度整合するか？
• RQ5 このデータセットは、教師にリアルタイムフィードバックを提供する会話型AIエージェントの訓練にどの程度の可能性を秘めているか？

主な発見

• TalkMovesデータセットは、567件のK-12数学授業トランスクリプトを含み、100％のトランスクリプトが責任ある会話理論に基づく教師および生徒の会話移動行動についてアノテート済みである。
• データセットには、頻度が高く、コーパス内での高い評価者間信頼性を示す6つの教師会話移動行動および4つの生徒会話移動行動について、文単位のアノテーションが付与されている。
• Switchboardコーパスからの会話行動ラベルは、教室内会話に成功裏にマッピングされ、教育的会話の理論的跨ぎ分析を可能にした。
• このデータセットは、将来の会話移動予測（FTMP）のモデル訓練にすでに使用されており、教育現場におけるリアルタイムフィードバックシステムに不可欠なタスクである。
• このデータセットは、国立AI研究所によって、責任ある会話フレームワークが科学教育や他の教科に一般化可能かどうかを調査する研究に活用されている。
• このデータセットは、子供を対象とした音声認識モデルを開発中の研究者とも共有されており、従来のNLPタスクを超えた応用可能性を示している。