[論文レビュー] Automated Anonymisation of Visual and Audio Data in Classroom Studies

Ömer Sümer, Peter Gerjets+2 more|arXiv (Cornell University)|Jan 14, 2020

Digital Media Forensic Detection参考文献 21被引用数 9

ひとこと要約

本稿では、顔認識、話者ダイアライゼーション、意味解析を活用して、教室研究における視覚的・音声的データのプライバシーを保護しつつデータの有用性を維持する、自動化されたAI駆動の匿名化パイプラインを提案する。この手法は顔および話者セグメントの高精度な匿名化を達成し、最小限の手動介入で大規模な教育的研究を倫理的に行うことを可能にする。

ABSTRACT

Understanding students' and teachers' verbal and non-verbal behaviours during instruction may help infer valuable information regarding the quality of teaching. In education research, there have been many studies that aim to measure students' attentional focus on learning-related tasks: Based on audio-visual recordings and manual or automated ratings of behaviours of teachers and students. Student data is, however, highly sensitive. Therefore, ensuring high standards of data protection and privacy has the utmost importance in current practices. For example, in the context of teaching management studies, data collection is carried out with the consent of pupils, parents, teachers and school administrations. Nevertheless, there may often be students whose data cannot be used for research purposes. Excluding these students from the classroom is an unnatural intrusion into the organisation of the classroom. A possible solution would be to request permission to record the audio-visual recordings of all students (including those who do not voluntarily participate in the study) and to anonymise their data. Yet, the manual anonymisation of audio-visual data is very demanding. In this study, we examine the use of artificial intelligence methods to automatically anonymise the visual and audio data of a particular person.

研究の動機と目的

• 音声・映像記録を伴う教室研究における学生のプライバシー保護の課題に対処すること。手動による匿名化は現実的ではない。
• 教育記録における顔、音声セグメント、および機微な発話内容を自動で匿名化するパイプラインを開発すること。
• 参加者からの同意に依存することを減らし、同意しない学生の除外を回避することで、倫理的なデータ収集と分析を可能にすること。
• 従来の教室観察法の代替手段として、スケーラブルでプライバシーを守る方法を提供すること。
• マルチモodal教育データ収集におけるGDPRおよびその他のデータ保護規制への準拠を支援すること。

提案手法

• ビデオデータにおける顔の特徴および髪の毛の外観を匿名化するために、顔検出とバウンディングボックスの拡張を採用した。
• 音声記録における個々の話者セグメントを特定・分離するために、話者ダイアライゼーションを適用した。
• 音声認識によるテキスト変換とキーワードベースの検索を用いて、発話内容における名前、場所、機関などの個人を特定できる情報を検出し、匿名化した。
• 最小限の手動検証が可能な標準的なマルチメディアアノテーションツール（例：VGG Image Annotator、ELAN）に結果を統合した。
• 4段階の匿名化レベルを持つモジュラーな匿名化パイプラインを設計した：アンケートの偽名化、顔のハードバイオメトリクス匿名化、ポーズやジェスチャーのソフトバイオメトリクス匿名化、発話内容の意味的匿名化。
• 非技術者ユーザーが自動匿名化出力を検査・修正できる軽量なインターフェースを提案した。

実験結果

リサーチクエスチョン

• RQ1 高精度で信頼性がある教室映像記録に自動顔検出および匿名化を適用できるか？
• RQ2 教育用音声記録において、話者ダイアライゼーションが個々の話者をどれほど正確に特定・セグメント化できるか？
• RQ3 意味解析は、名前や場所などの個人を特定できる情報について、どれほど効果的に検出し匿名化できるか？
• RQ4 自動匿名化は、データの整合性とプライバシーを保ちながら、手動処理の必要性をどれほど低減できるか？
• RQ5 教育的研究文脈でAIベースの匿名化を使用する際、どの程度の手動監視が必要か？

主な発見

• 本研究では、現実の教育的環境を反映する6.5時間の教室観察データセットを成功裏に構築した。
• コンピュータビジョンを用いた顔匿名化は高い正確性を達成し、映像データにおけるハードバイオメトリクス的特徴の信頼性ある保護を可能にした。
• 話者ダイアライゼーションは話者クラスタを効果的に特定し、音声記録における個々の声の正確な匿名化を可能にした。
• 意味解析により、生徒名や学校名などの個人を特定できる情報が発話内容から検出され、匿名化された。
• 自動化パイプラインにより手動作業が大幅に削減され、検証のための最小限の人的検査で十分であった。
• 偽名化から機微な内容の意味的抑制まで、複数レベルの匿名化を可能にすることで、GDPR準拠を支援する。