[논문 리뷰] Attention Based Video Summaries of Live Online Zoom Classes

Hyowon Lee, Mingming Liu외 4명|arXiv (Cornell University)|2021. 01. 15.

Video Analysis and Summarization참고 문헌 17인용 수 6

한 줄 요약

이 논문은 실시간 얼굴 주의 분석과 재생 행동을 활용해 라이브 Zoom 수업의 개인화된 영상 요약을 생성하는 Help-Me-Watch 시스템을 제시한다. 낮은 주의력 세그먼트를 식별하고 동료 참여 데이터를 결합함으로써, 복습과 참여도를 햖스키는 맞춤형 리캡을 생성하며, 대학에서의 구현을 통해 GDPR 준수 조건 하에서 실생활 타당성을 입증하였다.

ABSTRACT

This paper describes a system developed to help University students get more from their online lectures, tutorials, laboratory and other live sessions. We do this by logging their attention levels on their laptops during live Zoom sessions and providing them with personalised video summaries of those live sessions. Using facial attention analysis software we create personalised video summaries composed of just the parts where a student's attention was below some threshold. We can also factor in other criteria into video summary generation such as parts where the student was not paying attention while others in the class were, and parts of the video that other students have replayed extensively which a given student has not. Attention and usage based video summaries of live classes are a form of personalised content, they are educational video segments recommended to highlight important parts of live sessions, useful in both topic understanding and in exam preparation. The system also allows a Professor to review the aggregated attention levels of those in a class who attended a live session and logged their attention levels. This allows her to see which parts of the live activity students were paying most, and least, attention to. The Help-Me-Watch system is deployed and in use at our University in a way that protects student's personal data, operating in a GDPR-compliant way.

연구 동기 및 목표

• 온라인 Zoom 수업에서의 학생 참여도와 동기 저하 문제를 AI 기반 개인화된 영상 요약을 통해 해결하고자 한다.
• 개별 학생의 주의 수준을 기반으로 라이브 세션 중에 누락된 핵심 콘텐츠를 식별하고 강조할 수 있는 시스템을 개발하고자 한다.
• 수업 제공 방식과 콘텐츠 설계를 향상시키기 위해 교수진이 집계된 주의력 피드백을 받을 수 있도록 하고자 한다.
• 익명화된 옵트인 기반 데이터 수집 및 처리를 통해 개인정보 보호 및 GDPR 준수를 확보하고자 한다.
• 주의력 변동성과 콘텐츠 특성들이 온라인 교육에서 학생의 학습과 기억력에 미치는 영향을 탐구하고자 한다.

제안 방법

• 시스템은 실시간으로 라이브 Zoom 세션 중 학생들의 노트북 화면에서 주의 수준을 모니터링하기 위해 얼굴 주의 분석 소프트웨어를 사용하며, 초단위 주의 점수를 캡처한다.
• 학생의 주의 수준이 사전 정의된 임계값 이하로 떨어지는 세그먼트를 선택하여 영상 요약을 생성하며, 이는 놓친 또는 산산이 산산이 흩어진 순간에 집중한다.
• 다른 기준도 통합하여, 다른 학생들은 주의를 기울였지만 해당 학생은 주의를 기울이지 않은 세그먼트와, 다른 학생들은 재생했지만 해당 학생은 건너뛴 부분을 포함한다.
• 학생 간 집계된 주의력 데이터는 색상 코드가 부여된 스택드 바 차트로 시각화되어 전체 수업의 주의 흐름을 보여주며, 세션 시작/종료 시간까지 포함된다.
• 향후 개선 사항으로는 음성 정지와 슬라이드 전환 기반으로 요약 세그먼트를 지능적으로 잘라내는 것과, 오디오-비주얼 콘텐츠 분석을 통합하여 주의력과 발표 스타일 간의 연관성을 파악하는 것이 포함된다.
• 시스템은 다중 기기 재생을 지원하며, 교수진이 모든 학생의 요약에 포함시키기 위해 핵심 콘텐츠를 표시할 수 있다.

실험 결과

연구 질문

• RQ1 실시간 주의 모니터링을 통해 라이브 온라인 수업에서 어떻게 개인화된 영상 요약을 생성할 수 있는가?
• RQ2 주의력 변동성과 산만함 패턴은 온라인 교육에서 학습 성과에 어떤 영향을 미치는가?
• RQ3 동료 참여 데이터(예: 재생 행동)를 개인의 주의 수준과 융합하여 요약의 관련성을 어떻게 향상시킬 수 있는가?
• RQ4 집계된 주의력 피드백은 교수진이 온라인 환경에서 수업 제공 방식을 어떻게 개선하는 데 기여할 수 있는가?
• RQ5 슬라이드 지속 시간, 애니메이션, 목소리 높낮이와 같은 발표 특성이 학생의 주의를 유지하는 데 어떤 역할을 하는가?

주요 결과

• Help-Me-Watch 시스템은 실시간으로 라이브 Zoom 세션 중 주의력이 낮은 세그먼트를 식별함으로써 개인화된 영상 요약을 성공적으로 생성하였으며, 참가자들은 높은 주의력 변동성을 보였음(예: 참가자 D의 평균 변동성 0.323)으로 빈번한 산만함을 나타냈다.
• 학생 간 주의력 변동성은 뚜렷한 차이를 보이며, 높거나 낮은 변동성과 특정 시간대 간의 명확한 상관관계는 없었으며, 이는 수업 중 복잡한 행동 패턴이 존재함을 시사한다.
• 색상 코드가 부여된 스택드 바 차트로 표현된 집계된 주의력 피드백은 주의력 상승이 일부 학생에 국한되지 않고 전반적으로 발생했음을 보여주었으며, 이는 특정 세그먼트에서 전체 수업의 집단적 참여를 나타낸다.
• 시스템은 실제 대학 환경에서 구현되었으며, 익명화된 데이터 처리와 옵트인 메커니즘을 통해 GDPR 준수를 확보하여 개인정보 보호를 보장하였다.
• 초기 결과는 주의력 및 사용 데이터를 활용해 의미 있는 개인화된 콘텐츠 요약을 생성할 수 있음을 뒷받침하며, 복습 및 시험 준비 향상에 기여함을 시사한다.
• 향후 작업으로는 오디오-비주얼 콘텐츠 분석을 통합하여 주의 수준과 특정 발표 특성(예: 목소리 높낮이, 슬라이드 전환) 간의 연관성을 파악하는 것이 포함된다.