[论文解读] RL-LABEL: A Deep Reinforcement Learning Approach Intended for AR Label Placement in Dynamic Scenarios

Zhutian Chen, Daniele Chiappalupi+4 more|arXiv (Cornell University)|Aug 20, 2023

Interactive and Immersive DisplaysComputer Science参考文献 52被引用 3

一句话总结

RL-Label 提出了一种基于深度强化学习的动态AR标签布局方法，通过利用移动物体和用户视角的当前状态与未来预测状态，平衡短期与长期目标。在使用真实世界轨迹数据的模拟AR场景中，该方法通过减少标签遮挡、连线交叉和移动距离，优于基于力的算法和无视角管理基线方法。

ABSTRACT

Labels are widely used in augmented reality (AR) to display digital information. Ensuring the readability of AR labels requires placing them occlusion-free while keeping visual linkings legible, especially when multiple labels exist in the scene. Although existing optimization-based methods, such as force-based methods, are effective in managing AR labels in static scenarios, they often struggle in dynamic scenarios with constantly moving objects. This is due to their focus on generating layouts optimal for the current moment, neglecting future moments and leading to sub-optimal or unstable layouts over time. In this work, we present RL-LABEL, a deep reinforcement learning-based method for managing the placement of AR labels in scenarios involving moving objects. RL-LABEL considers the current and predicted future states of objects and labels, such as positions and velocities, as well as the user's viewpoint, to make informed decisions about label placement. It balances the trade-offs between immediate and long-term objectives. Our experiments on two real-world datasets show that RL-LABEL effectively learns the decision-making process for long-term optimization, outperforming two baselines (i.e., no view management and a force-based method) by minimizing label occlusions, line intersections, and label movement distance. Additionally, a user study involving 18 participants indicates that RL-LABEL excels over the baselines in aiding users to identify, compare, and summarize data on AR labels within dynamic scenes.

研究动机与目标

• 解决现有基于优化的标签布局方法在物体持续移动的动态AR场景中的局限性。
• 开发一种视角管理机制，综合考虑物体和标签的当前状态与未来预测状态，以实现长期布局稳定性。
• 在包含多个移动实体的动态AR场景中，提升标签可读性和视觉连线的可读性。
• 评估强化学习在超越静态或瞬时优化的AR标签布局管理中的有效性。
• 证明基于强化学习的标签管理可提升用户在动态AR环境中执行视觉搜索和数据总结任务的表现。

提出的方法

• RL-Label 采用深度强化学习框架，通过观察物体和标签的状态（包括位置、速度和用户视角）来做出布局决策。
• 智能体被训练以平衡短期目标（如避免遮挡）与长期目标（如防止未来遮挡并确保标签稳定性）。
• 环境通过NBA球员和校园学生的真实轨迹数据集进行模拟，以实现逼真的动态运动模式。
• 状态表示包括物体位置、速度、标签位置和观察者视角，编码为连续动作空间以实现标签重定位。
• 设计了密集的奖励函数，对遮挡、连线交叉和过度标签移动进行惩罚，同时对可见性和稳定性进行奖励。
• 该方法在模拟VR环境和用户研究中均进行了评估，以验证性能和可用性。

实验结果

研究问题

• RQ1 基于强化学习的系统能否在具有移动物体的动态场景中有效管理AR标签布局？
• RQ2 与瞬时优化相比，考虑未来预测状态在提升标签布局稳定性和减少遮挡方面有何改进？
• RQ3 RL-Label在减少标签遮挡和移动距离方面，与基于力的算法和无视角管理基线相比，优势有多大？
• RQ4 RL-Label在动态AR场景中对用户在视觉搜索、比较和总结任务中的表现有何影响？
• RQ5 基于强化学习的方法能否泛化到具有不同数量移动物体和动态标签配置的场景？

主要发现

• 在模拟AR场景中，RL-Label显著减少了标签遮挡，优于无视角管理基线和基于力的算法。
• 该方法显著降低了主导线交叉次数，并最小化了标签移动距离，从而提升了视觉稳定性。
• 在18名参与者的用户研究中，RL-Label提升了用户在动态场景中识别、比较和总结标签数据的能力。
• 模型通过牺牲轻微的即时遮挡以避免严重的未来遮挡，展现了有效的长期优化能力，如在后方球员移动场景中所见。
• RL-Label在保持标签可见性稳定性和最小化物体运动过程中的干扰性标签跳变方面，优于基线方法。
• 该方法能良好泛化至真实世界轨迹数据，在NBA和校园数据集的多样化动态运动模式中均表现出稳健性。