[論文レビュー] Versatile User Identification in Extended Reality using Pretrained Similarity-Learning

Christian Schell, Konstantin Kobs+3 more|arXiv (Cornell University)|Feb 15, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文は、深層度量学習を用いて、従来の距離ベースおよび分類ベースのアプローチの限界を克服する埋め込みベースの拡張現実（XR）ユーザー識別システムを提案する。VRゲームプレイのモーショントラッキングデータを用いて訓練することで、最小限の登録データから新規ユーザーの高速かつ正確な識別が可能となり、デバイスや非特異的動作に対しても一般化可能である。再トレーニングが不要で、ほぼ即時の登録が可能であり、スケーラビリティと信頼性においてベースラインモデルを上回る。

ABSTRACT

Various machine learning approaches have proven to be useful for user verification and identification based on motion data in eXtended Reality (XR). However, their real-world application still faces significant challenges concerning versatility, i.e., in terms of extensibility and generalization capability. This article presents a solution that is both extensible to new users without expensive retraining, and that generalizes well across different sessions, devices, and user tasks. To this end, we developed a similarity-learning model and pretrained it on the "Who Is Alyx?" dataset. This dataset features a wide array of tasks and hence motions from users playing the VR game "Half-Life: Alyx". In contrast to previous works, we used a dedicated set of users for model validation and final evaluation. Furthermore, we extended this evaluation using an independent dataset that features completely different users, tasks, and three different XR devices. In comparison with a traditional classification-learning baseline, our model shows superior performance, especially in scenarios with limited enrollment data. The pretraining process allows immediate deployment in a diverse range of XR applications while maintaining high versatility. Looking ahead, our approach paves the way for easy integration of pretrained motion-based identification models in production XR systems.

研究の動機と目的

• 距離ベースの手法が非特異的動作で失敗するのに対し、分類ベースの手法は新規ユーザーのためのコストの高い再トレーニングを要するという、XRユーザー識別における拡張性と適用性のトレードオフを解消すること。
• 再トレーニングが不要でありながら、多様で非特異的な動作に対しても効果的なユーザー識別システムを構築すること。
• 異なるVRデバイスや運動タイプ（トレーニング時とは見られないものも含む）において、モデルの一般化能力を評価すること。
• 熟練した知識、専用ハードウェア、大規模な再トレーニングに依存しない実用的で実装可能なXRアプリケーションにおけるユーザー識別を可能にすること。
• Unity や Unreal などの3Dエンジンにおける本格的でプラグインベースのユーザー識別システムの基盤を築くこと。

提案手法

• 本手法は、深層度量学習に基づく事前学習済み埋め込みモデルを用い、ユーザーのモーショントラッキングシーケンスを、同じユーザーからの類似した動きが密にクラスタリングされる共通の埋め込み空間にマップする。
• ユーザーの識別は、テストシーケンスの埋め込み空間における最近傍探索により実現され、k個の最近傍の多数決によって識別が行われる。
• モデルは、63名のユーザーがHTC Vive Proを用いてHalf-Life: Alyxをプレイした際のモーショントラッキングデータを含む公開データセット「Who Is Alyx?」を用いて訓練される。
• 新規ユーザーの登録は、単にそのユーザーのモーショントラッキングシーケンスを参照データベースに追加するだけで実現され、モデルの再トレーニングやファインチューニングは不要である。
• 本手法は、最先端の分類ベースのベースラインモデルと比較され、両者にハイパーパramータチューニングが適用されている。
• 一般化性能の評価は、ミラーらの別データセットを用いて実施され、41名のユーザーが異なるVRデバイス（HTC Cosmos、Oculus Quest）を用いてボール投げ動作を実行したデータが使用された。

Figure 1 : Deep Metric Learning allows to combine the advantages of previous approaches: our proposed embedding-based approach can easily be extended to new users without the need for re-training, yet remains applicable to non-specific user movements as well.

実験結果

リサーチクエスチョン

• RQ1 埋め込みベースの手法は、モデルの再トレーニングが不要な状態で、数分間の登録データのみでXRユーザーの高精度な識別を達成できるか？
• RQ2 データ量が限られる状況において、分類ベースのベースラインと比較して、埋め込みベースの手法の精度、トレーニング時間、新規ユーザーへのスケーラビリティはどのように異なるか？
• RQ3 本モデルは、新規ユーザー、異なる運動タイプ（例：ゲーム以外の動作）および異なるVRハードウェアプラットフォームへどの程度一般化できるか？
• RQ4 本モデルは、ディープラーニングの専門知識や専用ハードウェアが不要な状態で、実用的かつ本格的なXRアプリケーションへの展開を可能にするか？
• RQ5 埋め込みベースのアプローチにより、継続的または非表示のユーザー認証といった新たなユースケースが可能になるか？

主な発見

• 埋め込みベースの手法は、ユーザー1人あたり数分間の登録データのみで高い識別精度を達成した。データが限られる状況では、分類ベースのベースラインを著しく上回った。
• 埋め込みベースの手法では、新規ユーザーの登録に数秒で完了したが、分類ベースのモデルを再トレーニングするにはほぼ1日を要した。
• トレーニングデータに含まれないボール投げ動作を含む別データセットに対しても、モデルは効果的に一般化し、非特異的かつ多様な動作に対しても頑健であることが示された。
• HTC Vive、HTC Cosmos、Oculus Quest といった異なるVRデバイス間でも、モデルは成功裏に一般化した。これは、新規デバイスのデータをトレーニングに使用していないにもかかわらず成立した。
• 埋め込みベースの手法は、高い信頼性とスケーラビリティを維持しており、再トレーニングや専門的介入が不要な実世界のXRアプリケーションへの展開に適していることが確認された。
• 埋め込み距離を信頼度推定に活用することで、継続的またはモーショントラッキングベースのパスワード認証といった新たなユースケースが可能になった。

(a) Classification-based model immediately produces a user prediction.