[論文レビュー] SCB-Dataset3: A Benchmark for Detecting Student Classroom Behavior

Fan Yang, Tao Wang|arXiv (Cornell University)|Oct 4, 2023

Communication in Education and Healthcare被引用数 11

ひとこと要約

本論文は、6つの学生行動にわたる 5686 枚の画像と 45578 の注釈を含む公開データセットであるSCB-Dataset3を紹介し、YOLOv5/7/8検出モデルをベンチマークして、最大で 80.3% の mAP@50 を達成している。

ABSTRACT

The use of deep learning methods to automatically detect students' classroom behavior is a promising approach for analyzing their class performance and improving teaching effectiveness. However, the lack of publicly available datasets on student behavior poses a challenge for researchers in this field. To address this issue, we propose the Student Classroom Behavior dataset (SCB-dataset3), which represents real-life scenarios. Our dataset comprises 5686 images with 45578 labels, focusing on six behaviors: hand-raising, reading, writing, using a phone, bowing the head, and leaning over the table. We evaluated the dataset using the YOLOv5, YOLOv7, and YOLOv8 algorithms, achieving a mean average precision (map) of up to 80.3$\%$. We believe that our dataset can serve as a robust foundation for future research in student behavior detection and contribute to advancements in this field. Our SCB-dataset3 is available for download at: https://github.com/Whiffe/SCB-dataset

研究の動機と目的

• 学生の教室内行動検出のための公開データセットの欠如を解消する。
• 3から6へ行動カテゴリを拡張し、SCB-Dataset3に大学シーンを含める。
• SCB-Dataset3-S と SCB-Dataset3-U の上で YOLOv5、YOLOv7、YOLOv8 を用いたベンチマーク評価を提供する。

提案手法

• 6つの行動（手の挙げ上げ、読書、書き込み、スマートフォンの使用、頭を下げる、机の上に身を乗り出す）にわたる 5686 枚の画像と 45578 の注釈を含む SCB-Dataset3 を作成する。
• 大学教室向けに SCB-Dataset3-U を豊かにするためにフレーム補間と反復学習を適用する。
• mAP@50 および mAP@50:95 指標を対象に YOLOv5、YOLOv7、YOLOv8 で検出器を評価する。
• Behavior Similarity Index (BSI) を導入し、行動間の重なりを定量化する。
• 重複する境界ボックスや読書/書き込み行動間の類似性といった課題を分析する。

実験結果

リサーチクエスチョン

• RQ1 SCB-Dataset3は複数の教育レベルにわたり、構成と難易度はどのようになっているか？
• RQ2 SCB-Dataset3-S および SCB-Dataset3-U の6つの教室内行動に対して、最先端の物体検出器はどのように性能を示すか？
• RQ3 大学の教室データに対してフレーム補間は検出性能を改善するか？
• RQ4 Behavior Similarity Index (BSI) とは何か、そして分類器における行動の類似性について何を示すのか？

主な発見

• SCB-Dataset3 は 5686 枚の画像と 45578 の注釈を 6 つの行動に跨って含む。
• YOLOv7x が SCB-Dataset3-S で最良の単一モデル性能を達成し、mAP@50 は 80.3%。
• YOLO モデルサイズは単調に性能を向上させない。いくつかの小型バリアントがこのデータセットで大きいものよりも高性能を示す。
• 処理後、フレーム補間は SCB-Dataset3-U の検出精度を著しく向上させる。
• BSI は挙手が他の行動と低い類似性を示す一方、読書と書き込みはより高い類似性を示していることを示す。
• 行動間の顕著なクラス不均衡があり、検出結果のクラス別性能に影響を与えている。