[论文解读] Extending 3-DoF Metrics to Model User Behaviour Similarity in 6-DoF Immersive Applications

Silvia Rossi, Irene Viola+2 more|arXiv (Cornell University)|Dec 17, 2021

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文通过引入结合用户位置与观察方向的多特征度量，将3-DoF用户行为相似性度量扩展至6-DoF沉浸式环境，显著提升了体素VR中的相似性检测效果。所提出的度量w₇在所有序列中均实现了最高精度（P > 0.4），优于单特征度量，并实现了鲁棒的、实时的用户相似行为聚类。

ABSTRACT

Immersive reality technologies, such as Virtual and Augmented Reality, have ushered a new era of user-centric systems, in which every aspect of the coding--delivery--rendering chain is tailored to the interaction of the users. Understanding the actual interactivity and behaviour of the users is still an open challenge and a key step to enabling such a user-centric system. Our main goal is to extend the applicability of existing behavioural methodologies for studying user navigation in the case of 6 Degree-of-Freedom (DoF). Specifically, we first compare the navigation in 6-DoF with its 3-DoF counterpart highlighting the main differences and novelties. Then, we define new metrics aimed at better modelling behavioural similarities between users in a 6-DoF system. We validate and test our solutions on real navigation paths of users interacting with dynamic volumetric media in 6-DoF Virtual Reality conditions. Our results show that metrics that consider both user position and viewing direction better perform in detecting user similarity while navigating in a 6-DoF system. Having easy-to-use but robust metrics that underpin multiple tools and answer the question ``how do we detect if two users look at the same content?" open the gate to new solutions for a user-centric system.

研究动机与目标

• 解决在6-DoF沉浸式VR环境中缺乏标准化度量以建模用户行为相似性的现状。
• 将现有的3-DoF行为分析技术扩展至支持完整用户移动与头部追踪的场景。
• 开发简单、高效且鲁棒的相似性度量，适用于用户中心型多媒体系统的实时部署。
• 利用包含动态体素内容的6-DoF VR环境中真实导航轨迹验证所提出的度量。
• 实现准确的用户聚类，以支持个性化内容分发、体验质量优化及行为画像等应用。

提出的方法

• 提出七种相似性度量（w₁至w₈），在6-DoF空间中结合用户位置与观察方向，其中w₇与w₈为多特征组合度量。
• 采用基于视口内共同渲染点的重叠比率作为基准度量，用于相似性评估。
• 应用基于团的聚类算法，依据相似性度量对用户进行分组，并使用广义邓恩指数（GDI）与F-measure进行评估。
• 使用包含体素点云内容的6-DoF VR实验中获取的真实导航轨迹评估度量。
• 利用标准系统数据（位置与姿态）实时计算度量，确保计算开销极低（每次评估耗时低于0.01秒）。
• 通过精度、召回率与F-measure比较帧级与分段级分析的性能，其中真实标签基于内容重叠生成。

实验结果

研究问题

• RQ1 6-DoF用户导航模式与3-DoF相比，在行为复杂性与交互动态方面有何差异？
• RQ2 在6-DoF沉浸式环境中，用户位置与观察方向的何种组合最能捕捉行为相似性？
• RQ3 现有3-DoF行为度量能否以极低计算成本与高精度扩展至6-DoF系统？
• RQ4 在6-DoF VR中，单特征与多特征相似性度量在检测用户观看相同内容方面表现如何比较？
• RQ5 所提出的度量能否实现可靠且实时的用户聚类，以支持用户中心型多媒体系统？

主要发现

• 结合用户位置与观察方向的度量（如w₇与w₈）在检测行为相似性方面优于单特征度量。
• w₇度量在所有序列时间范围内均实现了最高精度（P > 0.4），表明其在识别观看相同内容的用户方面具有更高准确性。
• 所有提出的相似性度量生成的聚类均大于真实标签聚类，其中w₁、w₅与w₈在相关聚类中包含了80%的用户群体。
• 基于重叠比率的真实标签度量虽然准确，但计算开销大，不适用于实时应用。
• 尽管结构简单，单特征度量w₁（仅基于位置）的表现与多特征度量相当，表明其在初步分析中具有实用价值。
• 所提出的度量计算效率高，评估耗时低于0.01秒，适用于沉浸式系统中的实时部署。