[論文レビュー] Unique Identification of 50,000+ Virtual Reality Users from Head & Hand Motion Data

Vivek Nair, Wenbo Guo+5 more|arXiv (Cornell University)|Feb 17, 2023

Face recognition and analysis被引用数 4

ひとこと要約

本研究では、仮想現実（VR）ゲームにおける頭部および手の動きデータが、わずか100秒の動きで55,000人以上の実際のユーザーを94.33%の正確さで一意に特定可能であり、10秒間の動きでも73.20%の正確さを達成することを示しており、VRにおける動きのバイオメトリクス的特徴が顔認識や指紋認識と同等の強固なバイオメトリクス識別子として機能することを確立した。

ABSTRACT

With the recent explosive growth of interest and investment in virtual reality (VR) and the so-called "metaverse," public attention has rightly shifted toward the unique security and privacy threats that these platforms may pose. While it has long been known that people reveal information about themselves via their motion, the extent to which this makes an individual globally identifiable within virtual reality has not yet been widely understood. In this study, we show that a large number of real VR users (N=55,541) can be uniquely and reliably identified across multiple sessions using just their head and hand motion relative to virtual objects. After training a classification model on 5 minutes of data per person, a user can be uniquely identified amongst the entire pool of 50,000+ with 94.33% accuracy from 100 seconds of motion, and with 73.20% accuracy from just 10 seconds of motion. This work is the first to truly demonstrate the extent to which biomechanics may serve as a unique identifier in VR, on par with widely used biometrics such as facial or fingerprint recognition.

研究の動機と目的

• VRにおける頭部および手の動きが大規模なスケールで一意のバイオメトリクス識別子として機能するかどうかを調査すること。
• ユーザーの複数回のセッションにわたる識別が、動きのテレメトリーデータのみで可能かどうかを評価すること。
• 大規模で現実世界のVRユーザー集団において、機械学習モデルのユーザー識別性能を評価すること。
• VRアプリケーションで動きのテレメトリーデータを収集・保存することのプライバシー的影響を検討すること。
• 階層的分類を用いて、大規模なVRユーザー集団向けにスケーラブルで説明可能な識別システムを開発すること。

提案手法

• 40か国以上、20台以上のVRデバイスを用いて、55,541人の実際のユーザーが『Beat Saber』をプレイした際の、合計250万件の動き記録からなる大規模データセットを収集した。
• ゲーム固有のタイミングと空間的文脈を活用した文脈に配慮した特徴抽出を実施し、動きパターンの表現を向上させた。
• 55,000人以上のユーザークラスにスケーラブルに同定可能な階層的機械学習分類フレームワークを採用した。
• ユーザー識別において高い性能と説明可能性を兼ね備えた、木構造ベースのアンサンブルモデル「LightGBM」を用いた。
• デバイスやユーザーのばらつきを低減するために、仮想オブジェクトに対する相対的位置および姿勢を用いて動きデータを正規化した。
• 各ユーザーごとに5分間のデータでモデルを学習し、10秒および100秒の動きシーケンスで識別正確さを評価した。

実験結果

リサーチクエスチョン

• RQ1 VRセッションにおける頭部および手の動きデータは、大規模かつ現実世界の環境でユーザーを一意に特定可能か？
• RQ2 観測された動きデータの期間（例：10秒 vs. 100秒）に応じて、識別正確さはどのように変化するか？
• RQ3 大規模なユーザー集団において、行動的動きパターンは、身長などの静的ユーザー属性よりもどれほど識別に優れているか？
• RQ4 スケーラブルな階層的分類モデルは、55,000クラス以上のユーザーを同定する際に高い正確さを達成可能か？
• RQ5 このタスクにおいて、木構造ベースのモデルとディープラーニングモデルの両者を比較した場合、性能と説明可能性の点でどのように差がつくか？

主な発見

• 本研究では、55,541人のユーザーに対して、頭部および手の動きデータを100秒分使用した場合、94.33%のユーザー識別正確さを達成した。
• わずか10秒間の動きデータでも、73.20%の識別正確さを達成しており、短時間シーケンスにおける識別可能性の高さが示された。
• 深層学習モデルとは対照的に、木構造ベースのモデル（例：LightGBM）が、同様の分野で一般的に使われるにもかかわらず、本タスクでは優れた性能を示した。
• 階層的分類アプローチにより、55,000人以上のユーザークラスにスケーラブルに同定可能となり、従来の小規模な研究とは顕著な進歩を遂げた。
• 大規模なユーザー集団において、静的属性（例：自己申告身長）よりも動きベースの識別が優れており、動的行動パターンの重要性が浮き彫りになった。
• 本結果は、VRにおける動きバイオメトリクスが、顔認識や指紋認識と同等のバイオメトリクス識別子として機能可能であることを示しており、深刻なプライバシー懸念を喚起している。