[論文レビュー] Teacher's Perception in the Classroom

Ömer Sümer, Patricia Goldberg+5 more|arXiv (Cornell University)|May 22, 2018

Gaze Tracking and Assistive Technology被引用数 4

ひとこと要約

本論文は、教室における教師の注意の集中状態を自動的に分析するため、モバイル眼動追跡とコンピュータビジョンを組み合わせた新規フレームワークを提案する。顔検出、トラックレット作成、クラスタリングを用いて生徒を特定し、眼動追跡の凝視点を個々の生徒に紐付け、教師の注意分布とその性別による差異をアノテーションフリーでスケーラブルに分析可能にする。教育分野における眼動追跡研究において、手作業によるアノテーションに比べて顕著な前進を遂げた。

ABSTRACT

The ability for a teacher to engage all students in active learning processes in classroom constitutes a crucial prerequisite for enhancing students achievement. Teachers' attentional processes provide important insights into teachers' ability to focus their attention on relevant information in the complexity of classroom interaction and distribute their attention across students in order to recognize the relevant needs for learning. In this context, mobile eye tracking is an innovative approach within teaching effectiveness research to capture teachers' attentional processes while teaching. However, analyzing mobile eye-tracking data by hand is time consuming and still limited. In this paper, we introduce a new approach to enhance the impact of mobile eye tracking by connecting it with computer vision. In mobile eye tracking videos from an educational study using a standardized small group situation, we apply a state-ofthe-art face detector, create face tracklets, and introduce a novel method to cluster faces into the number of identity. Subsequently, teachers' attentional focus is calculated per student during a teaching unit by associating eye tracking fixations and face tracklets. To the best of our knowledge, this is the first work to combine computer vision and mobile eye tracking to model teachers' attention while instructing.

研究の動機と目的

• 本論文の目的は、教室授業におけるモバイル眼動追跡研究における手作業によるアノテーションの限界を克服することにある。
• 本研究は、実際の教室環境で教師の視線凝視点を個々の生徒に結びつける、スケーラブルで自動化された手法の欠如に取り組む。
• 目的は、指導中における任意の時点で教師がどの生徒に注目しているかを完全に自動化されたパイプラインで特定することにある。
• 眼動追跡とエゴセントリック動画解析、顔のクラスタリングを統合することで、教師の注意の大型スケール分析を可能にすることを目的としている。
• さらに、注意が生徒の性別や動きのパターンによってどのように変化するかを調査し、公平性と指導のダイナミクスに関する新たな知見を提供する。

提案手法

• 本研究は、標準化された小グループ授業セッション中に教師が装着するモバイル眼動追跡データを用いる。
• エゴセントリック動画フレームに最先端の顔検出器を適用し、第一視点での顔を検出する。
• 連続するフレーム間で顔を連結することで、個々の顔の時間的連続列（トラックレット）を作成する。
• 外見的特徴と運動特徴に基づいて、トラックレットを識別クラスタにグループ化する新規なクラスタリング手法を採用し、生徒の識別を可能にする。
• その後、眼動追跡の凝視点を各識別クラスタに紐付け、時間経過に伴う各生徒ごとの注意集中度を計算する。
• 光学フローを用いて視線の移動を検出し、凝視点の妥当性を検証することで、注意分析の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モバイル眼動追跡とコンピュータビジョンを用いて、教室環境における教師の注意の集中状態を個々の生徒に自動的にマッピングする方法は何か？
• RQ2 教師の注意は生徒の性別によってどの程度変化するか。また、自動顔クラスタリングと性別推定を用いて、その変化を信頼性高く測定できるか？
• RQ3 光学フロー情報は、視線移動の検出を改善し、凝視点分析における誤検出を低減できるか？
• RQ4 教師の動きや視線の移動行動は、指導のダイナミクスと生徒の関与度とどのように相関するか？
• RQ5 この自動化フレームワークは、手作業によるアノテーションなしに、スケーラブルな大規模な教師の注意分析を可能にするか？

主な発見

• 提案手法は、自動顔クラスタリングを用いて眼動追跡の凝視点を個々の生徒に正確に紐付け、手作業ラベルなしで生徒ごとの注意分析を実現した。
• 性別推定モデルは高い精度を達成し、2つの識別クラスタにおいて、男性生徒では960/946、女性生徒では3321/1128の正しく予測された。
• 光学フロー解析により、視線移動時に高い大きさのパターンが明らかになり、持続的な相互作用時には低い値を示した。
• 識別関連付けと凝視点検証の自動化により、熟練者によるアノテーションへの依存を低減し、教室内の注意分析をスケーラブルに可能にした。
• 8本の15〜20分のM-teach動画においても、本手法は頑健な性能を示し、実世界の教室応用への可能性を示した。
• 顔クラスタリングと視線データの統合により、生徒ごとの注意の時間的統計が得られ、注意分布と潜在的な公平性の問題に関する新たな知見が得られた。