[論文レビュー] Attention Based Video Summaries of Live Online Zoom Classes

Hyowon Lee, Mingming Liu+4 more|arXiv (Cornell University)|Jan 15, 2021

Video Analysis and Summarization参考文献 17被引用数 6

ひとこと要約

本論文では、ライブZoomの授業におけるリアルタイムでの顔の注目度分析と再生行動を用いて、個人に合わせた動画要約を生成するHelp-Me-Watchシステムを提示する。低注目度のセグメントを特定し、他の学生の関与データと組み合わせることで、復習や関与の向上に寄与するカスタマイズされた要約を生成する。大学での導入により、GDPR準拠のもとで実世界での実現可能性が確認された。

ABSTRACT

This paper describes a system developed to help University students get more from their online lectures, tutorials, laboratory and other live sessions. We do this by logging their attention levels on their laptops during live Zoom sessions and providing them with personalised video summaries of those live sessions. Using facial attention analysis software we create personalised video summaries composed of just the parts where a student's attention was below some threshold. We can also factor in other criteria into video summary generation such as parts where the student was not paying attention while others in the class were, and parts of the video that other students have replayed extensively which a given student has not. Attention and usage based video summaries of live classes are a form of personalised content, they are educational video segments recommended to highlight important parts of live sessions, useful in both topic understanding and in exam preparation. The system also allows a Professor to review the aggregated attention levels of those in a class who attended a live session and logged their attention levels. This allows her to see which parts of the live activity students were paying most, and least, attention to. The Help-Me-Watch system is deployed and in use at our University in a way that protects student's personal data, operating in a GDPR-compliant way.

研究の動機と目的

• オンラインZoom授業における学生の関与度とモチベーションの低下に応じて、AI駆動の個人に合わせた動画要約を提供すること。
• ライブセッション中の個々の注目度に基づき、重要な内容を損なった部分を特定・強調するシステムの開発。
• 教授が授業の配信方法やコンテンツ設計を改善できるよう、集計された注目度フィードバックを提供すること。
• 匿名化されたオプトインによるデータ収集と処理を通じて、GDPR準拠を確保すること。
• 注目度の変動とコンテンツ特徴がオンライン教育における学生の学習と記憶に与える影響を調査すること。

提案手法

• システムは、ライブZoomセッション中に学生のノートパソコン上で注目度を測定する顔の注目度分析ソフトウェアを用い、1秒ごとの注目度スコアを収集する。
• 動画要約は、学生の注目度が事前に定めたしきい値を下回ったセグメントを選択することで生成され、見逃されたまたは気を散らした瞬間を焦点に当てる。
• 他の学生が注目していたが、その学生が注目していなかったセグメントや、他の学生が再生していたがその学生がスキップしたセグメントといった追加基準を組み込む。
• 学生間の集計された注目度データは、色分けされた積み上げ棒グラフとして可視化され、クラス全体の注目度トレンド（参加・退室時間含む）を示す。
• 今後の改善策として、話者の間隔やスライドの切り替えに基づく、要約セグメントの知的トリミングと、音声・映像コンテンツ分析の統合により、注目度とプレゼンテーションスタイルの関連を特定することを想定している。
• システムはクロスデバイス再生をサポートし、教授が全学生の要約に含めるべき重要なコンテンツをマークできる。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでの注目度モニタリングを用いて、ライブオンライン授業からどのように個人に合わせた動画要約を生成できるか？
• RQ2 注目度の変動と気を散らすパターンは、オンライン教育における学習成果にどのような影響を与えるか？
• RQ3 他の学生の関与データ（例：再生行動）を個人の注目度と組み合わせることで、要約の関連性をどのように向上させられるか？
• RQ4 集計された注目度フィードバックは、オンライン環境における教授の授業の配信方法をどの程度改善できるか？
• RQ5 プレゼンテーションの特徴（例：スライドの持続時間、アニメーション、声の高さ）が、学生の注目を維持する上で果たす役割は何か？

主な発見

• Help-Me-Watchシステムは、ライブZoomセッション中に低注目度セグメントを特定することで、個人に合わせた動画要約を効果的に生成した。参加者には高い注目度変動（例：参加者Dの平均変動度0.323）が見られ、頻繁な気の散りやすさが示された。
• 注目度の変動は学生間で顕著に異なるが、高・低の変動と特定の時間帯との間に明確な相関はなく、授業中の複雑な行動パターンが示された。
• 色分けされた積み上げ棒グラフとして可視化された集計注目度フィードバックにより、注目度のピークが一部の学生に限らず広くクラス全体に見られ、特定のセグメントで集団的な関与が生じていることが明らかになった。
• システムは実世界の大学環境で導入され、匿名化処理とオプトインメカニズムを用いたGDPR準拠のもとで運用されており、プライバシー保護が確保された。
• 初期の結果から、注目度と使用データを統合して意味のある個人に合わせたコンテンツ要約を生成することが可能であり、復習や試験準備の向上に寄与することが示唆された。
• 今後の研究では、音声・映像コンテンツ分析を統合し、注目度を特定のプレゼンテーション特徴（例：声の高さ、スライドの切り替え）に関連付けることを目指す。