[논문 리뷰] Teacher's Perception in the Classroom

Ömer Sümer, Patricia Goldberg외 5명|arXiv (Cornell University)|2018. 05. 22.

Gaze Tracking and Assistive Technology인용 수 4

한 줄 요약

이 논문은 교실 환경에서 교사의 주의 집중을 자동으로 분석하기 위해 모바일 눈동자 추적과 컴퓨터 비전을 결합한 새로운 프레임워크를 제안한다. 얼굴 검출, 트랙렛 생성 및 클러스터링을 통해 학생을 식별함으로써, 눈동자 추적 고정점과 개별 학생을 연결함으로써 주의 분포와 그 학생의 성별과의 관계를 분석할 수 있게 하며, 수동 방법에 비해 상당한 발전을 이룬다.

ABSTRACT

The ability for a teacher to engage all students in active learning processes in classroom constitutes a crucial prerequisite for enhancing students achievement. Teachers' attentional processes provide important insights into teachers' ability to focus their attention on relevant information in the complexity of classroom interaction and distribute their attention across students in order to recognize the relevant needs for learning. In this context, mobile eye tracking is an innovative approach within teaching effectiveness research to capture teachers' attentional processes while teaching. However, analyzing mobile eye-tracking data by hand is time consuming and still limited. In this paper, we introduce a new approach to enhance the impact of mobile eye tracking by connecting it with computer vision. In mobile eye tracking videos from an educational study using a standardized small group situation, we apply a state-ofthe-art face detector, create face tracklets, and introduce a novel method to cluster faces into the number of identity. Subsequently, teachers' attentional focus is calculated per student during a teaching unit by associating eye tracking fixations and face tracklets. To the best of our knowledge, this is the first work to combine computer vision and mobile eye tracking to model teachers' attention while instructing.

연구 동기 및 목표

• . 논문은 교실 수업에서의 모바일 눈동자 추적 연구에서 수동 레이블링의 한계를 극복하고자 한다.
• . 실제 교실 환경에서 교사의 시선 고정점과 개별 학생을 연결할 수 있는 확장 가능한 자동화된 방법이 부족한 문제를 다룬다.
• . 지도 수업 중 어떤 시점에 교사가 어느 학생을 주시하고 있는지를 자동으로 식별하는 완전 자동화된 파이프라인을 개발하는 것이 목적이다.
• . 눈동자 추적과 엣소세트릭 비디오 분석, 얼굴 클러스터링을 통합하여 교사 주의의 대규모 분석을 가능하게 하고자 한다.
• . 주의가 학생의 성별과 운동 패턴에 따라 어떻게 달라지는지 조사하여 공정성 및 지도 역학에 대한 새로운 통찰을 제공하고자 한다.

제안 방법

• . 표준화된 소그룹 수업 세션 동안 교사의 제1인칭 시각에서 수집한 모바일 눈동자 추적 데이터를 사용한다.
• . 제1인칭 시각의 엣소세트릭 비디오 프레임에 최신 기술의 얼굴 검출기를 적용하여 얼굴을 탐지한다.
• . 연속된 프레임 간에 탐지된 얼굴을 연결하여 개별 얼굴의 시간적 시퀀스인 트랙렛을 생성한다.
• . 외관 및 운동 특징을 기반으로 트랙렛을 신규 클러스터링 방법으로 그룹화하여 학생의 신원을 할당한다.
• . 이후 눈동자 추적 고정점은 각 신원 클러스터와 연계되어 시간에 따른 학생별 주의 집중도를 계산한다.
• . 광학 흐름을 사용하여 시선 전환을 탐지하고 고정점의 정확도를 검증함으로써 주의 분석의 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 . 모바일 눈동자 추적과 컴퓨터 비전을 활용해 교실 환경에서 교사의 주의 집중을 어떻게 자동으로 개별 학생에게 맵핑할 수 있는가?
• RQ2 . 교사의 주의 집중이 학생의 성별에 따라 어떻게 달라지며, 자동 얼굴 클러스터링과 성별 추정을 통해 이를 신뢰성 있게 측정할 수 있는가?
• RQ3 . 광학 흐름 정보는 시선 전환 탐지에 어떻게 기여하고, 고정점 분석에서 잘못된 경고를 줄일 수 있는가?
• RQ4 . 교사의 움직임과 시선 이동 행동은 지도 역학과 학생의 참여도와 어떻게 관련이 있는가?
• RQ5 . 이 자동화된 프레임워크는 수동 레이블링 없이도 스케일러블한 대규모 교사 주의 분석을 가능하게 하는가?

주요 결과

• . 제안된 방법은 자동 얼굴 클러스터링을 통해 눈동자 추적 고정점을 개별 학생과 연결함으로써 수동 레이블링 없이도 학생별 주의 분석을 가능하게 하였다.
• . 성별 추정 모델은 높은 정확도를 보였으며, 두 개의 신원 클러스터에서 남성 학생과 여성 학생에 대해 각각 960/946 및 3321/1128건의 정확한 예측을 하였다.
• . 광학 흐름 분석은 시선 전환 시 고정된 패턴을 드러내었으며, 학생 간 전환 시에는 고값을, 지속적인 상호작용 기간에는 낮은 값을 기록하였다.
• . 전문가 레이블링에 대한 의존도를 줄이기 위해 신원 연결 및 고정점 검증을 자동화함으로써 교실 주의 분석의 스케일러비리티를 확보하였다.
• . 이 방법은 8개의 15~20분 분량의 M-teach 영상에서 우수한 성능을 보였으며, 실제 교실 응용에 대한 잠재력을 보였다.
• . 얼굴 클러스터링과 시선 데이터의 통합은 학생별 주의의 시간적 통계를 제공하여 주의 분포와 잠재적 공정성 문제에 대한 새로운 통찰을 제공하였다.