[논문 리뷰] SCB-Dataset: A Dataset for Detecting Student and Teacher Classroom Behavior

Fan Yang|arXiv (Cornell University)|2023. 04. 05.

Innovative Teaching Methods인용 수 15

한 줄 요약

이 논문은 SCB-dataset을 제시한다. 이는 hand-raising에 초점을 맞춘 공개 데이터셋으로 교실 장면에서(11,248 labels across 4,003 images) YOLOv7 변형을 사용해 평가했으며 0.5 IoU에서 최대 85.3% mAP를 달성한다.

ABSTRACT

Using deep learning methods to detect the classroom behaviors of both students and teachers is an effective way to automatically analyze classroom performance and enhance teaching effectiveness. Then, there is still a scarcity of publicly available high-quality datasets on student-teacher behaviors. We constructed SCB-Dataset a comprehensive dataset of student and teacher classroom behaviors covering 19 classes. SCB-Dataset is divided into two types: Object Detection and Image Classification. The Object Detection part includes 13,330 images and 122,977 labels, and the Image Classification part includes 21,019 images. We conducted benchmark tests on SCB-Dataset using YOLO series algorithms and Large vision-language model. We believe that SCB-Dataset can provide a solid foundation for future applications of artificial intelligence in education. Code:https://github.com/Whiffe/SCB-dataset

연구 동기 및 목표

• 학생 교실 행동 탐지를 위한 공개적으로 이용 가능한 데이터셋의 부족 문제를 다룬다.
• 다양한 교실 시나리오에서 손 들기에 초점을 맞춘 현실적인 데이터셋을 제공한다.
• 교실 행동 분석을 위한 객체 탐지 기반 접근법(YOLOv7)의 타당성을 입증한다.

제안 방법

• 공개 소스로부터 실제 교실 이미지를 수집하여 다양한 장면과 도전을 포착했다.
• SCB-dataset를 만들기 위해 손 들기 인스턴스를 바운딩 박스로 수동 주석 처리했다.
• SCB-dataset에서 여러 YOLOv7 변형(tiny, standard, X, W6, E6)을 학습 및 평가했다.
• 사전 학습된 백본을 사용하고 150 epochs, batch size 8, 이미지 크기 640x640으로 학습 구성을 설정했다.
• IoU 임계값 0.5 및 0.5:0.95에서 정밀도(P), 재현율(R), 평균 정확도(mAP)를 보고했다.

실험 결과

연구 질문

• RQ1 YOLOv7 기반 감지기가 실제 교실 이미지에서 손 들기 행동을 얼마나 잘 식별할 수 있는가?
• RQ2 교실 행동 탐지 성능에 대해 YOLOv7 변형 간의 모델 크기 및 아키텍처의 영향은 무엇인가?
• RQ3 교실에서 탐지에 영향을 주는 데이터셋 특성 및 도전 과제(스케일 변화, 가림, 시점)를 무엇인가?

주요 결과

모델	P	R	mAP@0.5	mAP@0.5:0.95
YOLOv7-tiny	75.7%	75.9%	79.7%	54%
YOLOv7	83.1%	80.6%	84.9%	61.8%
YOLOv7-X	81.4%	81.4%	84.6%	62.3%
YOLOv7-W6	84.1%	79%	85.3%	62.1%
YOLOv7-E6	82.2%	80.5%	85.1%	63.1%

• SCB-dataset는 교실에서의 손 들기에 초점을 맞춘 4,003 이미지에 걸쳐 11,248 labels를 포함한다.
• YOLOv7-tiny는 P=75.7%, R=75.9%, mAP@0.5=79.7%, mAP@0.5:0.95=54%.
• YOLOv7(표준)은 P=83.1%, R=80.6%, mAP@0.5=84.9%, mAP@0.5:0.95=61.8%.
• YOLOv7-X는 P=81.4%, R=81.4%, mAP@0.5=84.6%, mAP@0.5:0.95=62.3%.
• YOLOv7-W6는 P=84.1%, R=79.0%, mAP@0.5=85.3%, mAP@0.5:0.95=62.1%.
• YOLOv7-E6는 P=82.2%, R=80.5%, mAP@0.5=85.1%, mAP@0.5:0.95=63.1%.