[論文レビュー] SCB-Dataset: A Dataset for Detecting Student and Teacher Classroom Behavior

Fan Yang|arXiv (Cornell University)|Apr 5, 2023

Innovative Teaching Methods被引用数 15

ひとこと要約

この論文はSCB-datasetを提示します。教室の場面における手を挙げる動作に焦点を当てた公開データセット（11,248 labels across 4,003 images）を用い、YOLOv7の派生モデルで評価し、0.5 IoUで最大85.3%のmAPを達成。

ABSTRACT

Using deep learning methods to detect the classroom behaviors of both students and teachers is an effective way to automatically analyze classroom performance and enhance teaching effectiveness. Then, there is still a scarcity of publicly available high-quality datasets on student-teacher behaviors. We constructed SCB-Dataset a comprehensive dataset of student and teacher classroom behaviors covering 19 classes. SCB-Dataset is divided into two types: Object Detection and Image Classification. The Object Detection part includes 13,330 images and 122,977 labels, and the Image Classification part includes 21,019 images. We conducted benchmark tests on SCB-Dataset using YOLO series algorithms and Large vision-language model. We believe that SCB-Dataset can provide a solid foundation for future applications of artificial intelligence in education. Code:https://github.com/Whiffe/SCB-dataset

研究の動機と目的

• 公開取得可能な学生の教室内行動検知データセットの不足に対処する。
• さまざまな教室の場面における手を挙げる動作に焦点を当てた現実的なデータセットを提供する。
• 教室内行動分析における物体検出ベースのアプローチ（YOLOv7）の有効性を示す。

提案手法

• 多様な場面と課題を捉えるため、公的ソースから実世界の教室画像を収集した。
• SCB-datasetを作成するために、手を挙げる事例を境界ボックスで手動アノテーションした。
• SCB-dataset上でYOLOv7の複数の変種（tiny、standard、X、W6、E6）を訓練・評価した。
• 事前学習済みバックボーンを使用し、エポック数150、バッチサイズ8、画像サイズ640x640で訓練を設定した。
• IoU閾値0.5および0.5:0.95で、精度（P）、再現率（R）、および平均適合度（mAP）を報告した。

実験結果

リサーチクエスチョン

• RQ1 YOLOv7ベースの検出器は実際の教室画像で手を挙げる行動をどれだけ識別できるか？
• RQ2 YOLOv7のバリアント間でモデルサイズおよびアーキテクチャが教室内行動の検出性能に与える影響は？
• RQ3 教室における検出に影響を与えるデータセットの特徴と課題（スケール変動、遮蔽、視点）は何か？

主な発見

Model	P	R	mAP@.5	mAP@.5:.95
YOLOv7-tiny	75.7%	75.9%	79.7%	54%
YOLOv7	83.1%	80.6%	84.9%	61.8%
YOLOv7-X	81.4%	81.4%	84.6%	62.3%
YOLOv7-W6	84.1%	79%	85.3%	62.1%
YOLOv7-E6	82.2%	80.5%	85.1%	63.1%

• SCB-datasetは教室内の手を挙げる動作に焦点を当てた4,003枚の画像に11,248のラベルを含む。
• YOLOv7-tinyはP=75.7%, R=75.9%, mAP@0.5=79.7%, mAP@0.5:0.95=54%.
• YOLOv7（standard）はP=83.1%, R=80.6%, mAP@0.5=84.9%, mAP@0.5:0.95=61.8%.
• YOLOv7-XはP=81.4%, R=81.4%, mAP@0.5=84.6%, mAP@0.5:0.95=62.3%.
• YOLOv7-W6はP=84.1%, R=79.0%, mAP@0.5=85.3%, mAP@0.5:0.95=62.1%.
• YOLOv7-E6はP=82.2%, R=80.5%, mAP@0.5=85.1%, mAP@0.5:0.95=63.1%.