[論文レビュー] A Large-Scale Study of Personal Identifiability of Virtual Reality Motion Over Time

Mark Roman Miller, Eugy Han+4 more|arXiv (Cornell University)|Mar 2, 2023

Virtual Reality Applications and Impacts被引用数 11

ひとこと要約

この研究は、8週間にわたり232名の参加者を対象にVR運動データの識別可能性を時間とともに分析し、より多くのセッションと1セッションあたりの長い期間が識別可能性を高め、学習とテストの遅延が長いと識別可能性を低下させることを示す；またbody-space coordinatesを導入し、multiclass AUCを評価する。

ABSTRACT

In recent years, social virtual reality (VR), sometimes described as the "metaverse," has become widely available. With its potential comes risks, including risks to privacy. To understand these risks, we study the identifiability of participants' motion in VR in a dataset of 232 VR users with eight weekly sessions of about thirty minutes each, totaling 764 hours of social interaction. The sample is unique as we are able to study the effect of user, session, and time independently. We find that the number of sessions recorded greatly increases identifiability, and duration per session increases identifiability as well, but to a lesser degree. We also find that greater delay between training and testing sessions reduces identifiability. Ultimately, understanding the identifiability of VR activities will help designers, security professionals, and consumer advocates make VR safer.

研究の動機と目的

• VR運動データの識別可能性が時間の経過とデータサイズの変化に伴いどのように変化するかを評価する。
• セッション数、1セッションあたりの長さ、トレーニングとテスト間の時間遅延が識別可能性に与える影響を定量化する。
• body-space coordinatesを導入し、ユーザー間の特徴の整合性を改善する。
• 運動データから性別や民族などの人口統計的属性を推定することを示す。
• データセット間およびクラスサイズ間の比較を可能にする評価指標（multiclass AUC）を確立する。

提案手法

• 2つの収集期間と約30分の8週間分のセッションを含む、Stanford Longitudinal VR Classroom Datasetを232名の参加者で利用する。
• ENGAGEプラットフォームを用いたソーシャルVRディスカッション中のヘッドセットとハンドコントローラの位置・回転を記録する。
• body-space coordinatesを含む、42のストリーム（位置、回転、および派生相対運動）からの840特徴量を設計する。
• 各参加者の前方方向に相対的なbody-space座標系を定義し、水平方向平面回転に対する不変性を向上させる。
• R/rangerを用いたアンサンブル600本のランダムフォレスト分類器を訓練し、マルチクラス識別のためにセッションごとに予測を集約する。
• 主評価指標としてmulticlass AUCを用い、固定Nクラスのテストセットには精度を補助指標とする。

Figure 1: Parallel coordinates plot of classification size, span of time in which data was collected, and total duration of data collected per participant. The current work is the largest or the second-largest on all dimensions. Note all dimensions are log-scaled in order to better scale the variati

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータが増える（セッション数が多い）場合と、1セッションが長くなる場合で、VR運動データの識別可能性はどのように変化するか。
• RQ2 トレーニングデータとテストデータの時間遅延が、週を跨いだ識別可能性にどう影響するか。
• RQ3 データをbody-space座標系に変換することは、グローバル座標系と比べて識別可能性を改善するか。
• RQ4 性別や民族といった人口統計属性をVR運動データから推定できるか、そしてどの程度の精度か。

主な発見

• セッション数が増えるほど識別可能性は実質的に高まり、セッション時間の長さが大きいほどの効果は小さい。
• トレーニングデータとテストデータの遅延は、調査対象の時間スケール全体で識別可能性を低下させる。
• 同一セッション内の識別可能性は、異なるセッション間より高く、先行研究と一致する。
• 本研究は、異なるクラスサイズを持つデータセット間で識別可能性を比較する際の頑健な指標としてmulticlass AUCを推奨する。
• body-space座標が運動特徴をユーザーの前方方向に合わせるのに役立ち、識別特徴セットを改善する。
• 人口統計属性（性別と民族）は、ベースラインモデルより小〜中程度の利得で運動データから推定可能である。

Figure 2: Participants performing discussion activities in the VR environment. In the top left panel, participants illustrate the environmental impacts of an oil spill with a duck model covered in black smudges representing oil. In the top right panel, several students discuss the experience of the