[논문 리뷰] Fine-Grained Classroom Activity Detection from Audio with Neural Networks

Eric Slyman, Christopher Daw외 3명|arXiv (Cornell University)|2021. 07. 29.

Communication in Education and Healthcare인용 수 4

한 줄 요약

이 논문은 멜 필터뱅크, OpenSmile, PASE+ 특징을 사용한 딥 뉴럴 네트워크 프레임워크를 제안하며, 음성에서 세분화된 수업 활동을 탐지한다. 양방향 GRU와 합성곱 신경망을 활용하여 최신 기술 수준(SOTA)의 성능을 달성하였으며, 새로운 강사에 대해 4가지 분류 작업에서 35.4%의 프레임 수준 오차 감소와 기준 모델 대비 54.9%의 총 시간 추정 오차 감소를 기록하였다.

ABSTRACT

Instructors are increasingly incorporating student-centered learning techniques in their classrooms to improve learning outcomes. In addition to lecture, these class sessions involve forms of individual and group work, and greater rates of student-instructor interaction. Quantifying classroom activity is a key element of accelerating the evaluation and refinement of innovative teaching practices, but manual annotation does not scale. In this manuscript, we present advances to the young application area of automatic classroom activity detection from audio. Using a university classroom corpus with nine activity labels (e.g., "lecture," "group work," "student question"), we propose and evaluate deep fully connected, convolutional, and recurrent neural network architectures, comparing the performance of mel-filterbank, OpenSmile, and self-supervised acoustic features. We compare 9-way classification performance with 5-way and 4-way simplifications of the task and assess two types of generalization: (1) new class sessions from previously seen instructors, and (2) previously unseen instructors. We obtain strong results on the new fine-grained task and state-of-the-art on the 4-way task: our best model obtains frame-level error rates of 6.2%, 7.7% and 28.0% when generalizing to unseen instructors for the 4-way, 5-way, and 9-way classification tasks, respectively (relative reductions of 35.4%, 48.3% and 21.6% over a strong baseline). When estimating the aggregate time spent on classroom activities, our average root mean squared error is 1.64 minutes per class session, a 54.9% relative reduction over the baseline.

연구 동기 및 목표

• 번역문이나 화자 등록에 의존하지 않고도 음성 입력만으로 자동화되고 확장 가능한 세분화된 수업 활동 탐지를 가능하게 하기 위해.
• 실세계 환경에서 이전에 본 적 없는 강사, 수업실, 과목 유형에 일반화하는 데 도전하기 위해.
• 음성 전용 입력을 사용하여 다양한 수업 활동의 시간 추정 정확도를 향상시키기 위해.
• 저자원, 원거리 음성 환경에서 자기학습된 특징, 멜 필터뱅크, OpenSmile 음향 특징의 효과를 평가하기 위해.
• 표준 웹캠에서의 음성만을 사용하여 9가지 분류의 세분화된 수업 활동 인식에 대한 벤치마크를 설정하기 위해.

제안 방법

• 수업 기록에서 추출한 음성 특징을 기반으로 완전 연결, 확장된 시간 컨volution, 단방향/양방향 게이트형 순환 유닛(GRUs)을 사용한 딥 뉴럴 네트워크를 훈련하였다.
• 3가지 입력 특징 세트(멜 필터뱅크, OpenSmile, PASE+ 자기학습 임베딩)를 개별적으로 및 조합하여 평가하였다.
• 9가지 분류 레이블 세트(예: 강의, 그룹 활동, 학생 질문)를 사용하였으며, 비교 분석을 위해 5가지 및 4가지 분류 변형으로 단순화하였다.
• 일반화 성능 향상을 위해 데이터 증강 및 교차 검증을 적용하였으며, 특히 새로운 강사에 대한 일반화에 중점을 두었다.
• 프레임 수준의 분류에 조기 정지와 모델 평균화를 적용하여 새로운 데이터에서의 성능 최적화를 도모하였다.
• 일반화 성능 평가를 위해 두 가지 테스트 세트를 사용: 이전에 본 강사의 새로운 세션과 완전히 새로운 강사의 새로운 세션.

실험 결과

연구 질문

• RQ1 표준 웹캠에서의 음성만을 사용하여 딥 뉴럴 네트워크가 9가지 분류의 세분화된 수업 활동 탐지에서 높은 정확도를 달성할 수 있는가?
• RQ2 멜 필터뱅크, OpenSmile, PASE+와 같은 다양한 음향 특징 세트가 수업 활동 인식에서 성능에 어떻게 영향을 미치는가?
• RQ3 기존에 본 강사에 대해 훈련된 모델이 이전에 본 적 없는 강사 및 수업 환경으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 9가지 분류에서 5가지 및 4가지 분류로 단순화할 경우 성능 저하 정도는 어떠한가?
• RQ5 번역문이나 화자 등록 데이터 없이도 모델이 각 수업 활동에 할애된 총 시간을 정확하게 추정할 수 있는가?

주요 결과

• 모든 세 가지 특징 유형(멜 필터뱅크, OpenSmile, PASE+)을 사용한 양방향 GRU 모델이 4가지 분류 작업에서 새로운 강사에 대해 6.2%의 프레임 수준 오차율을 기록하였다.
• 강력한 기준 모델 대비 새로운 강사에 대해 4가지 분류 작업에서 35.4%의 프레임 오차 감소와 5가지 분류 작업에서 48.3%의 감소를 기록하였다.
• 총 시간 추정에 있어서 모델은 평균 제곱근 오차(RMSE)가 1.64분으로 기준 모델 대비 54.9%의 상대적 감소를 달성하였다.
• 새로운 강사에 대해 잘 일반화되었으며, 시간 추정의 RMSE는 54.9% 상대 감소를 기록했고, 4가지 분류 작업에서 강력한 F1 스코어(가중 평균 F1: 0.928)를 확보하였다.
• 혼동은 주로 단일 음성 유형 간(예: 학생 vs. 강사의 말) 및 혼란스러운 활동 간(예: '기타'와 '그룹 활동')에 주로 발생하였다.
• 자기학습된 PASE+ 특징은 단독으로 또는 다른 특징과 조합하여 모든 작업 및 일반화 설정에서 최고의 성능를 기록하였다.