[논문 리뷰] Versatile User Identification in Extended Reality using Pretrained Similarity-Learning

Christian Schell, Konstantin Kobs외 3명|arXiv (Cornell University)|2023. 02. 15.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 이전의 거리 기반 및 분류 기반 접근 방식의 한계를 극복하기 위해 딥 메트릭 학습을 활용한 임bedding 기반 사용자 식별 시스템을 제안한다. VR 게임 플레이 동안의 동작 데이터를 기반으로 훈련함으로써, 최소한의 등록 데이터로도 새로운 사용자를 신속하고 정확하게 식별할 수 있으며, 기기 간 및 비특수 동작에 대해 일반화되며, 재훈련이 필요 없고 거의 즉각적인 등록을 통해 기존 기준 모델보다 확장성과 신뢰성 면에서 뛰어나다.

ABSTRACT

Various machine learning approaches have proven to be useful for user verification and identification based on motion data in eXtended Reality (XR). However, their real-world application still faces significant challenges concerning versatility, i.e., in terms of extensibility and generalization capability. This article presents a solution that is both extensible to new users without expensive retraining, and that generalizes well across different sessions, devices, and user tasks. To this end, we developed a similarity-learning model and pretrained it on the "Who Is Alyx?" dataset. This dataset features a wide array of tasks and hence motions from users playing the VR game "Half-Life: Alyx". In contrast to previous works, we used a dedicated set of users for model validation and final evaluation. Furthermore, we extended this evaluation using an independent dataset that features completely different users, tasks, and three different XR devices. In comparison with a traditional classification-learning baseline, our model shows superior performance, especially in scenarios with limited enrollment data. The pretraining process allows immediate deployment in a diverse range of XR applications while maintaining high versatility. Looking ahead, our approach paves the way for easy integration of pretrained motion-based identification models in production XR systems.

연구 동기 및 목표

• 거리 기반 방법이 비특수 동작에서 실패하고 분류 기반 방법이 새로운 사용자 등록을 위해 비용이 많이 드는 재훈련이 필요하다는 점을 감안할 때, XR 사용자 식별에서 확장성과 적용성 사이의 상충 관계를 해결하기 위해.
• 모델 재훈련 없이도 쉽게 새로운 사용자에 대해 확장 가능하면서도 다양한 비특수 동작에 대해 효과적으로 작동하는 사용자 식별 시스템을 개발하기 위해.
• 다양한 VR 기기와 동작 유형(훈련 중에 보이지 않은 것 포함)에 대해 모델의 일반화 능력을 평가하기 위해.
• 전문 지식, 전용 하드웨어, 대규모 재훈련에 대한 의존도를 줄임으로써 XR 애플리케이션에 실용적인 사용자 식별을 구현하기 위해.
• Unity 및 Unreal과 같은 3D 엔진에서 생산 수준의 플러그인 기반 사용자 식별 시스템을 위한 기반을 마련하기 위해.

제안 방법

• 딥 메트릭 학습 기반의 사전 훈련된 임베딩 모델을 사용하여 사용자 동작 시퀀스를 유사한 동작이 같은 사용자로부터 유사하게 군집되는 공통 임베딩 공간으로 매핑한다.
• 사용자 신원은 테스트 시퀀스의 k개의 가장 가까운 이웃에 대한 다수결 투표를 통해 임베딩 공간 내에서 최근접 이웃 검색을 통해 결정된다.
• 모델은 63명의 사용자가 HTC Vive Pro를 사용해 하프라이프: 알렉스를 플레이한 동작 추적 데이터를 포함하는 공개된 "Who Is Alyx?" 데이터셋을 기반으로 훈련된다.
• 새로운 사용자 등록은 모델 재훈련이나 피팅 조정 없이도 단순히 그들의 동작 시퀀스를 기준 데이터베이스에 추가함으로써 수행된다.
• 상태 기반 분류 기반 기준 모델과의 비교를 위해 하이퍼파라미터 튜닝을 양쪽에 모두 적용한다.
• 일반화 능력 평가를 위해 밀러 등이 제시한 별도의 데이터셋(HTC 코스모스, 오큘러스 퀘스트를 사용해 볼 던지기 동작을 한 41명의 사용자 포함)을 활용한다.

Figure 1 : Deep Metric Learning allows to combine the advantages of previous approaches: our proposed embedding-based approach can easily be extended to new users without the need for re-training, yet remains applicable to non-specific user movements as well.

실험 결과

연구 질문

• RQ1 임베딩 기반 방법이 모델 재훈련 없이 몇 분 내외의 등록 데이터만으로도 XR 사용자 식별 정확도를 높일 수 있는가?
• RQ2 데이터가 제한되었을 때, 임베딩 기반 방법이 분류 기반 기준 모델 대비 정확도, 훈련 시간, 새로운 사용자에 대한 확장성 측면에서 어떻게 성능을 내는가?
• RQ3 모델이 새로운 사용자, 다양한 동작 유형(예: 게임 외 동작) 및 다양한 VR 하드웨어 플랫폼으로까지 얼마나 잘 일반화되는가?
• RQ4 딥 러닝 전문 지식이나 전용 하드웨어 없이도 모델이 실용적이고 생산 수준의 XR 애플리케이션에 구현 가능한가?
• RQ5 임베딩 기반 접근 방식이 지속적 또는 암묵적인 사용자 확인과 같은 새로운 사용 사례를 가능하게 하는가?

주요 결과

• 임베딩 기반 방법은 각 사용자당 몇 분 내외의 등록 데이터만으로도 높은 식별 정확도를 달성했으며, 데이터가 제한되었을 때 분류 기반 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 임베딩 기반 방법을 사용할 경우 새로운 사용자 등록에 단 몇 초가 걸렸지만, 분류 기반 모델의 재훈련에는 거의 하루가 소요되었다.
• 훈련 데이터에 포함되지 않은 볼 던지기 동작을 포함한 별도의 데이터셋에 대해 모델이 효과적으로 일반화되었으며, 비특수적이고 다양한 동작에 대한 강건성을 입증했다.
• 모델은 훈련 데이터에 포함되지 않은 새로운 기기(HTC Vive, HTC 코스모스, 오큘러스 퀘스트) 간에도 효과적으로 일반화되었으며, 특히 새롭게 등장한 기기의 데이터에 대해 훈련되지 않았음에도 불구하고 성능을 유지했다.
• 임베딩 기반 방법은 고도의 신뢰성과 확장성을 유지하여 재훈련이나 전문가 개입 없이도 실제 XR 애플리케이션에 구현 가능한 것으로 입증되었다.
• 임베딩 거리 기반 신뢰도 추정을 활용함으로써 지속적 또는 동작 기반 비밀번호 확인과 같은 새로운 사용 사례를 가능하게 했다.

(a) Classification-based model immediately produces a user prediction.