[논문 리뷰] Automated Anonymisation of Visual and Audio Data in Classroom Studies

Ömer Sümer, Peter Gerjets외 2명|arXiv (Cornell University)|2020. 01. 14.

Digital Media Forensic Detection참고 문헌 21인용 수 9

한 줄 요약

이 논문은 교실 연구에서 시각적 및 청각적 데이터의 자동화된, 인공지능 기반 익명화 파이프라인을 제안한다. 얼굴 검출, 화자 다이아라이제이션 및 의미 분석을 활용하여 데이터 유용성을 유지하면서도 프라이버시를 보호한다. 이 방법은 얼굴과 발화 세그먼트에 대해 높은 정확도로 익명화를 구현하여 수동 개입 최소화로 대규모 윤리적 교육 연구를 가능하게 한다.

ABSTRACT

Understanding students' and teachers' verbal and non-verbal behaviours during instruction may help infer valuable information regarding the quality of teaching. In education research, there have been many studies that aim to measure students' attentional focus on learning-related tasks: Based on audio-visual recordings and manual or automated ratings of behaviours of teachers and students. Student data is, however, highly sensitive. Therefore, ensuring high standards of data protection and privacy has the utmost importance in current practices. For example, in the context of teaching management studies, data collection is carried out with the consent of pupils, parents, teachers and school administrations. Nevertheless, there may often be students whose data cannot be used for research purposes. Excluding these students from the classroom is an unnatural intrusion into the organisation of the classroom. A possible solution would be to request permission to record the audio-visual recordings of all students (including those who do not voluntarily participate in the study) and to anonymise their data. Yet, the manual anonymisation of audio-visual data is very demanding. In this study, we examine the use of artificial intelligence methods to automatically anonymise the visual and audio data of a particular person.

연구 동기 및 목표

• 음성-영상 기록을 포함한 교실 연구에서 학생의 프라이버시를 보호하는 데 도전하는 문제를 해결하기 위해.
• 교육 기록에서 얼굴, 음성 세그먼트, 민감한 발화 내용을 자동으로 익명화하는 파이프라인을 개발하기 위해.
• 참가자 동의 의존도를 줄이고 비동의 학생의 배제를 방지함으로써 윤리적인 데이터 수집 및 분석을 가능하게 하기 위해.
• 伝통적인 교실 관찰 방법의 대체로 확장 가능한 프라이버시 보존형 접근법을 만들기 위해.
• 다중 모odal 교육 데이터 수집에서 GDPR 및 기타 데이터 보호 규정 준수를 지원하기 위해.

제안 방법

• 비디오 데이터에서 얼굴 특징과 머리카락 외관을 익명화하기 위해 얼굴 검출 및 경계 상자 확장을 적용하였다.
• 음성 기록에서 개별 발화 세그먼트를 식별하고 분리하기 위해 화자 다이아라이제이션을 적용하였다.
• 음성 텍스트 변환과 키워드 기반 검색을 사용하여 발화 내용에서 이름, 위치 또는 기관과 같은 참조를 탐지하고 익명화하였다.
• 최소한의 수동 검증을 위해 표준 다중미디어 애너테이션 도구(예: VGG Image Annotator, ELAN)에 결과를 통합하였다.
• 4단계로 구성된 모듈식 익명화 파이프라인을 설계함: 설문지의 가명화, 경직된 생체 정보 익명화(얼굴), 부드러운 생체 정보 익명화(자세, 제스처), 발화 내용의 의미 익명화.
• 비기술자 사용자가 자동 익명화 결과를 검토하고 수정할 수 있도록 경량 인터페이스를 제안하였다.

실험 결과

연구 질문

• RQ1 고정밀도로 교실 영상 기록에 자동 얼굴 검출 및 익명화를 신뢰성 있게 적용할 수 있는가?
• RQ2 화자 다이아라이제이션은 교육 음성 기록에서 얼마나 정확하게 개별 화자들을 식별하고 세그먼트화할 수 있는가?
• RQ3 의미 분석은 이름이나 위치와 같은 개인을 특정할 수 있는 정보를 얼마나 효과적으로 탐지하고 익명화할 수 있는가?
• RQ4 자동 익명화는 데이터 무결성과 프라이버시를 유지하면서도 수동 데이터 처리의 필요성을 얼마나 줄일 수 있는가?
• RQ5 교육 연구 환경에서 AI 기반 익명화를 사용할 경우, 수동 감시 수준은 어느 정도 필요한가?

주요 결과

• 연구는 실제 교육 환경을 반영하는 6.5시간 분량의 교실 관찰 데이터셋을 성공적으로 구축하였다.
• 컴퓨터 비전을 활용한 얼굴 익명화가 높은 정확도를 달성하여 영상 데이터에서 경직된 생체 정보 특징을 신뢰성 있게 보호할 수 있었다.
• 화자 다이아라이제이션은 발화 클러스터를 효과적으로 식별하여 음성 기록에서 개별 음성의 정확한 익명화를 가능하게 하였다.
• 의미 분석을 통해 학생 이름이나 학교 이름과 같은 개인을 특정할 수 있는 정보를 탐지하고 익명화할 수 있었다.
• 자동화된 파이프라인이 수동 작업을 크게 줄였으며, 검증을 위한 최소한의 인간 검토만 필요로 하였다.
• 가명화에서부터 민감한 내용의 의미적 제거에 이르기까지 다중 수준의 익명화를 통해 GDPR 준수를 지원할 수 있었다.