[論文レビュー] Fine-Grained Classroom Activity Detection from Audio with Neural Networks

Eric Slyman, Christopher Daw+3 more|arXiv (Cornell University)|Jul 29, 2021

Communication in Education and Healthcare被引用数 4

ひとこと要約

本稿では、メルフィルターバンク、OpenSmile、PASE+特徴量を用いた深層学習フレームワークを提案し、双方向GRUと畳み込みネットワークを組み合わせて、音声からの細粒度の授業行動検出を実現する。最先端の性能を達成し、4クラス分類タスクにおいて未学習のインストラクターに対してフレーム単位の誤差を35.4%削減し、集計時間推定誤差をベースラインモデルと比較して54.9%削減した。

ABSTRACT

Instructors are increasingly incorporating student-centered learning techniques in their classrooms to improve learning outcomes. In addition to lecture, these class sessions involve forms of individual and group work, and greater rates of student-instructor interaction. Quantifying classroom activity is a key element of accelerating the evaluation and refinement of innovative teaching practices, but manual annotation does not scale. In this manuscript, we present advances to the young application area of automatic classroom activity detection from audio. Using a university classroom corpus with nine activity labels (e.g., "lecture," "group work," "student question"), we propose and evaluate deep fully connected, convolutional, and recurrent neural network architectures, comparing the performance of mel-filterbank, OpenSmile, and self-supervised acoustic features. We compare 9-way classification performance with 5-way and 4-way simplifications of the task and assess two types of generalization: (1) new class sessions from previously seen instructors, and (2) previously unseen instructors. We obtain strong results on the new fine-grained task and state-of-the-art on the 4-way task: our best model obtains frame-level error rates of 6.2%, 7.7% and 28.0% when generalizing to unseen instructors for the 4-way, 5-way, and 9-way classification tasks, respectively (relative reductions of 35.4%, 48.3% and 21.6% over a strong baseline). When estimating the aggregate time spent on classroom activities, our average root mean squared error is 1.64 minutes per class session, a 54.9% relative reduction over the baseline.

研究の動機と目的

• トランスクリプトや発話者登録に依存せずに、音声からの自動的かつスケーラブルな細粒度の授業行動検出を可能にすること。
• 現実世界の環境において、事前に見られなかったインストラクター、教室、およびコースタイプに一般化する課題に対処すること。
• 音声のみの入力で、さまざまな授業行動の時間推定の正確性を向上させること。
• 低リソースで遠方音声環境下における自己教師ありのメルフィルターバンク特徴量、OpenSmile特徴量、およびPASE+特徴量の有効性を評価すること。
• 標準ウェブカメラからの音声のみを用いて、9クラスの細粒度の授業行動認識のベンチマークを確立すること。

提案手法

• 教室記録の音声特徴量を用いて、全結合層、拡張時間畳み込み層、および単方向／双方向ゲート付き再帰ユニット（GRU）の深層ニューラルネットワークを訓練した。
• 3つの入力特徴量セット（メルフィルターバンク、OpenSmile、PASE+自己教師あり埋め込み）を個別および組み合わせて評価した。
• 9クラスのラベルセット（例：講義、グループ作業、学生質問）を用い、比較的分析のための5クラスおよび4クラスの変種に簡略化した。
• データ拡張と交差検証を適用して、特に未学習のインストラクターに対する一般化を向上させた。
• フレーム単位分類にエポック早期停止とモデルアンサンブルを適用し、未学習データに対するパフォーマンス最適化を図った。
• 一般化性能を2つのテストセットで評価した：以前に見たインストラクターからの新しいセッション、およびまったく未学習のインストラクターからの新しいセッション。

実験結果

リサーチクエスチョン

• RQ1 標準ウェブカメラからの音声のみを用いて、深層ニューラルネットワークが9クラスの細粒度の授業行動検出で高い精度を達成できるか？
• RQ2 メルフィルターバンク、OpenSmile、PASE+といった異なる音声特徴量セットは、授業行動認識においてどのように性能を発揮するか？
• RQ3 見ていたインストラクターで学習したモデルが、以前に見られなかったインストラクターおよび教室環境にどの程度一般化できるか？
• RQ4 9クラスから5クラスおよび4クラスへの分類タスクに簡略化した場合、性能はどの程度低下するか？
• RQ5 トランスクリプトや登録データなしで、モデルは各授業行動に費やされた合計時間を正確に推定できるか？

主な発見

• 最も優れたモデルは、メルフィルターバンク、OpenSmile、PASE+の3つの特徴量を組み合わせた双方向GRUであり、4クラス分類タスクで未学習のインストラクターに対してフレーム単位の誤差率が6.2%を達成した。
• 未学習のインストラクターにおいて、4クラスタスクでは強力なベースラインと比較してフレーム単位誤差を35.4%相対的に削減し、5クラスタスクでは48.3%削減した。
• 集計時間推定に関しては、モデルは1クラスセッションあたり1.64分の平均二乗誤差（RMSE）を達成し、ベースラインと比較して54.9%相対的に削減した。
• 未学習のインストラクターに対しても良好な一般化が得られ、時間推定のRMSEは54.9%相対的に削減され、4クラスタスクではF1スコア（加重平均F1：0.928）も高く維持された。
• 主な誤りは、類似した単一発話カテゴリ（例：学生 vs. インストラクターの発話）および、混沌とした活動（「その他」と「グループ作業」）の間で発生した。
• 自己教師ありのPASE+特徴量は、単独でも他の特徴量と組み合わせても、すべてのタスクおよび一般化設定で最高のパフォーマンスを発揮した。