[논문 리뷰] Extending 3-DoF Metrics to Model User Behaviour Similarity in 6-DoF Immersive Applications

Silvia Rossi, Irene Viola외 2명|arXiv (Cornell University)|2021. 12. 17.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 볼륨형 VR 환경에서 3-DoF 사용자 행동 유사도 메트릭스를 다섯 번째 및 여섯 번째 자유도(6-DoF)로 확장하기 위해 사용자 위치와 시야 방향을 통합한 다중 특징 메트릭스를 도입하여, 볼륨형 VR에서의 유사도 탐지 성능을 크게 향상시켰다. 제안된 메트릭스 w₇는 모든 시퀀스에서 최고의 정밀도(P > 0.4)를 기록하며 단일 특징 메트릭스를 뛰어넘었고, 유사한 시야 행동을 보이는 사용자를 강력하고 실시간으로 군집화할 수 있게 하였다.

ABSTRACT

Immersive reality technologies, such as Virtual and Augmented Reality, have ushered a new era of user-centric systems, in which every aspect of the coding--delivery--rendering chain is tailored to the interaction of the users. Understanding the actual interactivity and behaviour of the users is still an open challenge and a key step to enabling such a user-centric system. Our main goal is to extend the applicability of existing behavioural methodologies for studying user navigation in the case of 6 Degree-of-Freedom (DoF). Specifically, we first compare the navigation in 6-DoF with its 3-DoF counterpart highlighting the main differences and novelties. Then, we define new metrics aimed at better modelling behavioural similarities between users in a 6-DoF system. We validate and test our solutions on real navigation paths of users interacting with dynamic volumetric media in 6-DoF Virtual Reality conditions. Our results show that metrics that consider both user position and viewing direction better perform in detecting user similarity while navigating in a 6-DoF system. Having easy-to-use but robust metrics that underpin multiple tools and answer the question ``how do we detect if two users look at the same content?" open the gate to new solutions for a user-centric system.

연구 동기 및 목표

• 6-DoF 몰입형 VR 환경에서 사용자 행동 유사도를 모델링하기 위한 표준화된 메트릭스의 부족을 해결한다.
• 기존의 3-DoF 행동 분석 기법을 전체 사용자 이동 및 머리 추적 기능을 수용하도록 확장한다.
• 사용자 중심의 멀티미디어 시스템에 실시간 구현에 적합한 단순하고 효율적이며 강력한 유사도 메트릭스를 개발한다.
• 다이나믹한 볼륨형 콘텐츠를 포함한 6-DoF VR 환경에서의 실제 탐색 궤적을 사용하여 제안된 메트릭스를 검증한다.
• 개인화된 콘텐츠 제공, 경험 품질 최적화, 행동 프로파일링과 같은 응용 분야를 위해 정확한 사용자 군집화를 가능하게 한다.

제안 방법

• 6-DoF 공간에서 사용자 위치와 시야 방향을 조합한 일곱 개의 유사도 메트릭스(w₁부터 w₈까지)를 제안하며, 그 중 w₇와 w₈는 다중 특징 조합이다.
• 시야에 렌더링된 공통 포인트 수를 기반으로 한 기준이 되는 과정 중첩 비율 메트릭스를 유사도 평가의 기준으로 사용한다.
• 일반화된 덴의 지수(GDI)와 F-측정치를 평가 지표로 삼아 클리크 기반 군집 알고리즘을 적용하여 유사도 메트릭스 기반 사용자 군집화를 수행한다.
• 볼륨형 포인트 클라우드 콘텐츠를 포함한 6-DoF VR 실험에서의 실제 탐색 궤적을 사용하여 메트릭스를 평가한다.
• 표준 시스템 데이터(위치 및 방향)를 기반으로 실시간으로 메트릭스를 계산하여 계산 오버헤드를 최소화(평가당 0.01초 이내)한다.
• 콘텐츠 중첩에서 유도된 진짜값을 기반으로 프레임 기반 및 청크 기반 분석에서 정밀도, 재현율, F-측정치를 비교한다.

실험 결과

연구 질문

• RQ1 6-DoF 환경에서 사용자 탐색 패턴은 3-DoF 환경과 비교해 행동의 복잡성과 상호작용 역학에서 어떻게 다를까?
• RQ2 사용자 위치와 시야 방향 특징의 어떤 조합이 6-DoF 몰입형 환경에서 행동 유사도를 가장 잘 포착하는가?
• RQ3 기존의 3-DoF 행동 메트릭스는 최소한의 계산 비용으로 6-DoF 시스템으로 확장될 수 있는가?
• RQ4 단일 특징 메트릭스와 다중 특징 메트릭스는 6-DoF VR 환경에서 같은 콘텐츠를 보고 있는 사용자를 탐지하는 데 어떻게 비교되는가?
• RQ5 제안된 메트릭스는 사용자 중심의 멀티미디어 시스템에서 신뢰할 수 있고 실시간으로 사용 가능한 사용자 군집화를 가능하게 하는가?

주요 결과

• 사용자 위치와 시야 방향을 모두 조합한 메트릭스(예: w₇ 및 w₈)는 단일 특징 메트릭스보다 행동 유사도 탐지에서 뛰어난 성능을 보였다.
• w₇ 메트릭스는 모든 시퀀스 시간 동안 최고의 정밀도(P > 0.4)를 기록하여 같은 콘텐츠를 보고 있는 사용자를 식별하는 데 뛰어난 정확도를 보였다.
• 모든 제안된 유사도 메트릭스는 기준값보다 더 큰 군집을 생성했으며, w₁, w₅, w₈는 관련 군집에 80%의 사용자 인구를 포함시켰다.
• 중첩 비율 기반 기준값 메트릭스는 정확도는 높지만 계산이 매우 복잡하여 실시간 사용에 부적합하다.
• 단순함에도 불구하고 단일 특징 메트릭스 w₁(위치만 기반)이 다중 특징 메트릭스와 유사한 성능을 보였으며, 초보적 분석에 유용함을 시사한다.
• 제안된 메트릭스는 계산 효율성이 뛰어나 평가가 0.01초 이내로 완료되어 몰입형 시스템에서 실시간 구현에 적합하다.