[논문 리뷰] A Large-Scale Study of Personal Identifiability of Virtual Reality Motion Over Time

Mark Roman Miller, Eugy Han외 4명|arXiv (Cornell University)|2023. 03. 02.

Virtual Reality Applications and Impacts인용 수 11

한 줄 요약

이 연구는 8주간의 8회 세션에 걸쳐 232명의 참가자를 대상으로 시간에 따른 VR 모션 데이터의 식별 가능성을 분석하고, 더 많은 세션과 세션당 더 긴 기간이 식별 가능성을 높이며, 학습-테스트 지연이 길수록 이를 감소시킨다는 것을 보여주고, 또한 바디-스페이스 좌표를 도입하고 다중 클래스 AUC를 평가한다.

ABSTRACT

In recent years, social virtual reality (VR), sometimes described as the "metaverse," has become widely available. With its potential comes risks, including risks to privacy. To understand these risks, we study the identifiability of participants' motion in VR in a dataset of 232 VR users with eight weekly sessions of about thirty minutes each, totaling 764 hours of social interaction. The sample is unique as we are able to study the effect of user, session, and time independently. We find that the number of sessions recorded greatly increases identifiability, and duration per session increases identifiability as well, but to a lesser degree. We also find that greater delay between training and testing sessions reduces identifiability. Ultimately, understanding the identifiability of VR activities will help designers, security professionals, and consumer advocates make VR safer.

연구 동기 및 목표

• VR 모션 데이터의 식별 가능성이 시간에 따라 그리고 데이터 규모가 달라질 때 어떻게 변하는지 평가한다.
• 훈련 세션 수, 세션당 지속 시간, 훈련-테스트 간 시간 지연이 식별 가능성에 어떤 영향을 주는지 정량화한다.
• 피처 정렬을 개선하기 위해 각 참가자의 전방 방향에 상대적인 바디-스페이스 좌표계를 도입한다.
• 모션 데이터로부터 인구통계적 속성(예: 성별 및 민족)을 추론할 수 있는지 평가한다.
• 다양한 데이터셋과 클래스 크기에 대한 비교를 가능하게 하는 평가 지표(다중 클래스 AUC)를 확립한다.

제안 방법

• Stanford Longitudinal VR Classroom Dataset를 활용하여 두 차례의 수집 기간과 8주간의 주당 약 30분 세션으로 232명의 참가자를 포함한다.
• ENGAGE 플랫폼을 사용하여 사회적 VR 토론 중 헤드셋과 핸드 컨트롤러의 위치와 회전을 기록한다.
• 42개의 스트림(위치, 회전, 및 파생 상대 모션)을 포함해 840개의 피처를 엔지니어링하고 바디-스페이스 좌표를 포함한다.
• 수평면 회전에 대한 불변성을 개선하기 위해 각 참가자의 전방 방향에 상대적인 바디-스페이스 좌표계 정의한다.
• 랜덤 포레스트 분류기(R/ranger)로 600개의 트리 앙상블을 학습시키고 세션별 예측을 집계하여 다중 클래스 식별을 수행한다.
• 주된 평가 지표로 다중 클래스 AUC를 사용하고, 고정된 N-클래스 테스트 세트의 정확도도 보조적으로 사용한다.

Figure 1: Parallel coordinates plot of classification size, span of time in which data was collected, and total duration of data collected per participant. The current work is the largest or the second-largest on all dimensions. Note all dimensions are log-scaled in order to better scale the variati

실험 결과

연구 질문

• RQ1 더 많은 훈련 데이터(더 많은 세션)가 있을 때 VR 모션 데이터의 식별 가능성은 어떤가? 한 세션당 지속 시간이 길어질 때와 비교하여 어떻게 달라지는가?
• RQ2 훈련 데이터와 테스트 데이터 간의 시간 지연이 주간별로 식별 가능성에 어떤 영향을 미치는가?
• RQ3 데이터를 바디-스페이스 좌표계로 변환하는 것이 전역 좌표계보다 식별 가능성을 개선하는가?
• RQ4 성별 및 민족과 같은 인구통계학적 속성을 VR 모션 데이터에서 추론할 수 있으며 정확도는 어느 정도인가?

주요 결과

• 더 많은 세션이 기록될수록 식별 가능성이 크게 증가하며, 세션당 지속 시간이 길어질 때는 그 효과가 다소 작게 나타난다.
• 훈련과 테스트 데이터 간의 지연은 연구 기간 동안 식별 가능성을 감소시킨다.
• 식별 가능성은 한 세션 내에서 다른 세션 간보다 더 높은 경향이 있다(이전 연구와 일치).
• 다중 클래스 AUC를 다양한 클래스 크기를 가진 데이터셋 간 비교의 강건한 지표로 제시한다.
• 바디-스페이스 좌표는 모션 피처를 사용자의 전방 방향으로 정렬하는 데 도움을 주어 식별 피처 세트를 개선한다.
• 인구통계적 속성(성별 및 민족)은 모션 데이터로부터 기저 모델 대비 작에서 중간 정도의 이득으로 추론 가능하다.

Figure 2: Participants performing discussion activities in the VR environment. In the top left panel, participants illustrate the environmental impacts of an oil spill with a duck model covered in black smudges representing oil. In the top right panel, several students discuss the experience of the