[論文レビュー] Inferring Private Personal Attributes of Virtual Reality Users from Head and Hand Motion Data

Vivek Nair, Christian Räck+9 more|arXiv (Cornell University)|May 30, 2023

Sexuality, Behavior, and Technology被引用数 9

ひとこと要約

本論文は、Beat Saberのような健全なゲームプレイにおいても、VRの頭部・手の動作データのみからTransformerベースのモデルを用いて40を超える個人属性を推測できることを示しており、マルチユーザーVRにおけるプライバシーリスクを浮き彫りにしている。

ABSTRACT

Motion tracking "telemetry" data lies at the core of nearly all modern virtual reality (VR) and metaverse experiences. While generally presumed innocuous, recent studies have demonstrated that motion data actually has the potential to uniquely identify VR users. In this study, we go a step further, showing that a variety of private user information can be inferred just by analyzing motion data recorded from VR devices. We conducted a large-scale survey of VR users (N=1,006) with dozens of questions ranging from background and demographics to behavioral patterns and health information. We then obtained VR motion samples of each user playing the game "Beat Saber," and attempted to infer their survey responses using just their head and hand motion patterns. Using simple machine learning models, over 40 personal attributes could be accurately and consistently inferred from VR motion data alone. Despite this significant observed leakage, there remains limited awareness of the privacy implications of VR motion data, highlighting the pressing need for privacy-preserving mechanisms in multi-user VR applications.

研究の動機と目的

• 非対立的なゲーム環境において、VRの頭部および手の動作データからプライベートなユーザー属性を推測できることを示す。
• モーションテレメトリのみを用いて、統計的有意性をもって推測可能な属性を定量化する。
• 逐次的なVRモーションデータから二値属性を推定するための、一般化可能な機械学習フレームワークを提供する。

提案手法

• 詳細なアンケートに回答した1,006人のBeat Saberプレイヤーを対象に、頭部と両手から1フレームあたり21特徴のモーションテレメトリを収集する。
• 選択された50の属性を二値分類タスクに変換する（例：年齢層、婚姻状況）。
• 21×1024フレームの系列でTransformerベースのモデルを訓練し、二値属性を予測する。クラスごとにデータセットをバランスさせ、モンテカルロ交差検証を用いる。
• シーケンスごとおよびユーザーごとの精度と、二項検定（p<0.01、p<0.05）による統計的有意性で推論成功を評価する。
• Adam最適化とBCE損失で100エポック訓練を用い、属性間で集約された結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 VRの頭部と手の動作データのみで、非対立的なVRゲームにおいてプライベート属性を推測できるか？
• RQ2 Beat Saberでモーションテレメトリから統計的に有意な高精度で推測可能な属性はどれか？
• RQ3 この逐次的なモーションデータ推定タスクに対して、Transformerベースのモデルはどれほど有効か？

主な発見

属性	総数	テスト回数	精度	有意性	総数	テスト回数	精度	有意性
StandaloneGrip	31,100	6,000	85.9%	<0.001	311	60	91.7%	<0.001
Height	19,100	6,000	76.5%	<0.001	191	60	86.7%	<0.001
Controller	33,200	6,000	81.2%	<0.001	332	60	85.0%	<0.001
Weight	9,800	6,000	73.6%	<0.001	98	60	85.0%	<0.001
FootSize	9,100	6,000	73.2%	<0.001	91	60	85.0%	<0.001
Country	33,300	6,000	60.3%	<0.001	333	60	81.7%	<0.001
RhythmGames	10,900	6,000	63.5%	<0.001	109	60	80.0%	<0.001
Age	62,300	6,000	64.9%	<0.001	623	60	78.3%	<0.001
TotalPlayTime	34,400	6,000	67.7%	<0.001	344	60	78.3%	<0.001
Headset	65,000	6,000	66.9%	<0.001	650	60	76.7%	<0.001
LeftArm	10,300	6,000	65.2%	<0.001	103	60	76.7%	<0.001
RightArm	10,200	6,000	64.9%	<0.001	102	60	75.0%	<0.001
Athletics	8,700	6,000	59.1%	<0.001	87	60	75.0%	<0.001
MaritalStatus	81,400	6,000	60.2%	<0.001	814	60	73.3%	<0.001
EmploymentStatus	64,200	6,000	65.1%	<0.001	642	60	71.7%	<0.001
AnyRhythmGames	83,000	6,000	54.8%	<0.001	830	60	70.0%	<0.001
Ethnicity	73,900	6,000	59.7%	<0.001	739	60	70.0%	<0.001
SteamComputerFormFactor	51,300	6,000	58.5%	<0.001	513	60	70.0%	<0.001
Footwear	36,700	6,000	60.5%	<0.001	367	60	70.0%	<0.001
AnyVRRhythmGames	83,000	8,000	56.8%	<0.001	830	80	68.8%	<0.001
Income	76,700	8,000	55.0%	<0.001	767	80	68.8%	<0.001
Wingspan	16,000	8,000	59.9%	<0.001	160	80	68.8%	<0.001
Handedness	71,600	10,000	55.2%	<0.001	716	100	66.0%	<0.001
HandLength	51,000	8,000	58.5%	<0.001	510	80	66.3%	<0.001
SubstanceUse	69,200	10,000	55.9%	<0.001	692	100	64.0%	<0.001
Preparation	39,400	8,000	58.2%	<0.001	394	80	65.0%	<0.001
LowerBody	29,500	8,000	55.9%	<0.001	295	80	65.0%	<0.001
Lenses	80,900	8,000	55.3%	<0.001	809	80	65.0%	<0.001
Languages	80,700	8,000	56.5%	<0.001	807	80	65.0%	<0.001
SteamOperatingSystemVersion	50,800	8,000	58.4%	<0.001	508	80	65.0%	<0.001
Music	29,600	8,000	53.6%	<0.001	296	80	65.0%	<0.001
AnyMentalDisabilities	83,000	10,000	52.6%	<0.001	830	100	63.0%	<0.001
Sex	76,300	10,000	56.5%	<0.001	763	100	63.0%	<0.001
AnyPhysicalDisabilities	83,000	10,000	54.5%	<0.001	830	100	62.0%	<0.001
ReactionTime	9,800	14,000	53.1%	<0.001	98	140	60.0%	<0.001
AnyMusic	83,000	8,000	55.7%	<0.001	830	80	62.5%	<0.001
AnyAthletics	19,900	8,000	55.7%	<0.001	199	80	61.3%	<0.001
EducationalStatus	62,200	8,000	57.1%	<0.001	622	80	60.0%	<0.001
IPD	6,700	8,000	55.8%	<0.001	67	80	60.0%	<0.001
Dance	82,000	10,000	52.3%	<0.001	820	100	59.0%	<0.001
PoliticalOrientation	33,100	10,000	53.5%	<0.001	331	100	58.0%	<0.001
UpperBody	47,200	10,000	52.0%	<0.001	472	100	57.0%	<0.001
SteamProcessorLogicalCores	33,500	10,000	51.0%	<0.001	335	100	56.0%	<0.001
HadCOVID	83,000	10,000	54.4%	<0.001	830	100	55.0%	<0.001
CaffinatedBeverages	40,800	10,000	52.9%	<0.001	408	100	55.0%	<0.001
RoomArea	33,100	8,000	50.5%	p=0.183	331	80	56.3%	p=0.157
PhysicalFitness	7,800	12,000	54.2%	<0.001	78	120	55.0%	p=0.158
SteamProcessorCPUVendor	51,600	10,000	49.2%	p=0.953	516	100	53.0%	p=0.309
SteamLighthouses	5,500	8,000	48.6%	p=0.993	55	80	52.5%	p=0.369
ColorBlindness	79,800	10,000	50.4%	p=0.227	798	100	52.0%	p=382

• 50の属性のうち、33件がユーザーごとに高い統計的有意性（p<0.01）で推定され、8件が中程度の有意性（p<0.05）を示す。
• シーケンスごとには、50属性中45が高度に有意（p<0.01）で、1つが中程度に有意（p<0.05）。
• 架空の入力でのマクロ有意性検定は、シーケンスごとおよびユーザーごとの評価ともにp<0.0001を示し、全体として強い有意性を示す。
• 実世界の多様なハードウェア/ソフトウェア環境でも、頭部/手の動作データのみを用い、最も弱い敵対的モデルであっても結果は再現可能である。