[논문 리뷰] SCB-Dataset3: A Benchmark for Detecting Student Classroom Behavior

Fan Yang, Tao Wang|arXiv (Cornell University)|2023. 10. 04.

Communication in Education and Healthcare인용 수 11

한 줄 요약

본 논문은 SCB-Dataset3를 공개 데이터세트로 소개하며 5686 images와 45578 annotations를 6가지 학생 행동에 걸쳐 제공하고, YOLOv5/7/8 탐지기를 벤치마크하여 최대 80.3% mAP@50를 달성한다.

ABSTRACT

The use of deep learning methods to automatically detect students' classroom behavior is a promising approach for analyzing their class performance and improving teaching effectiveness. However, the lack of publicly available datasets on student behavior poses a challenge for researchers in this field. To address this issue, we propose the Student Classroom Behavior dataset (SCB-dataset3), which represents real-life scenarios. Our dataset comprises 5686 images with 45578 labels, focusing on six behaviors: hand-raising, reading, writing, using a phone, bowing the head, and leaning over the table. We evaluated the dataset using the YOLOv5, YOLOv7, and YOLOv8 algorithms, achieving a mean average precision (map) of up to 80.3$\%$. We believe that our dataset can serve as a robust foundation for future research in student behavior detection and contribute to advancements in this field. Our SCB-dataset3 is available for download at: https://github.com/Whiffe/SCB-dataset

연구 동기 및 목표

• 학생 교실 행동 탐지에 대한 공개 데이터셋의 부족 문제를 해결한다.
• SCB-Dataset3에서 행동 범주를 3에서 6으로 확장하고 대학 배경을 포함한다.
• SCB-Dataset3-S와 SCB-Dataset3-U에서 YOLOv5, YOLOv7, YOLOv8을 활용한 벤치마크 평가를 제공한다.

제안 방법

• 6가지 행동: hand-raising, reading, writing, using a phone, bowing the head, and leaning over the table의 5686 이미지와 45578 주석으로 SCB-Dataset3를 개발한다.
• 대학 교실을 위한 SCB-Dataset3-U를 강화하기 위해 frame interpolation과 반복 학습을 적용한다.
• mAP@50 및 mAP@50:95 지표를 통해 YOLOv5, YOLOv7, YOLOv8으로 탐지기를 평가한다.
• Behavior Similarity Index (BSI)를 도입하여 행동 간 중복 정도를 정량화한다.
• 겹치는 경계 상자 및 읽기/쓰기 행동 간의 유사성 등의 도전을 분석한다.

실험 결과

연구 질문

• RQ1 SCB-Dataset3의 구성과 여러 교육 수준에서의 난이도는 어떠한가?
• RQ2 SCB-Dataset3-S와 SCB-Dataset3-U의 여섯 가지 교실 행동에서 최첨단 객체 탐지기가 어떻게 성능을 보이는가?
• RQ3 프레임 보간(frame interpolation)이 대학 교실 데이터의 탐지 성능을 향상시키는가?
• RQ4 Behavior Similarity Index (BSI)가 무엇이며 분류기 간 행동 간 유사성에 대해 무엇을 나타내는가?

주요 결과

• SCB-Dataset3는 6가지 행동에 걸쳐 5686 images와 45578 annotations를 포함한다.
• YOLOv7x가 SCB-Dataset3-S에서 단일 모델 최상의 성능을 달성하며 mAP@50는 80.3%이다.
• YOLO 모델 크기가 단조롭게 성능을 향상시키지는 않으며, 이 데이터셋에서 일부 작은 변형이 더 큰 모델보다 우수하다.
• frame interpolation은 처리 후 SCB-Dataset3-U 탐지 정확도를 크게 향상시킨다.
• BSI는 hand-raising이 다른 행동들과의 유사성이 낮은 반면, reading과 writing이 더 높은 유사성을 보임을 보여준다.
• 행동 간의 클래스 불균형이 뚜렷하여 탐지 결과의 클래스별 성능에 영향을 준다.