[论文解读] Mixed Reality Interface for Digital Twin of Plant Factory

Byunghyun Ban|arXiv (Cornell University)|Oct 29, 2022

Augmented Reality Applications被引用 4

一句话总结

本文提出了一种用于植物工厂数字孪生系统的混合现实（MR）界面，通过使用可变形神经辐射场（DNRF）处理的实时流媒体场景，实现沉浸式远程监控与控制。该系统整合了头戴式显示器（HMD）和2D显示界面，并结合动态UI叠加，实现了低延迟、空间精准的可视化，从而在智能农业环境中实现直观的人机交互。

ABSTRACT

An easier and intuitive interface architecture is necessary for digital twin of plant factory. I suggest an immersive and interactive mixed reality interface for digital twin models of smart farming, for remote work rather than simulation of components. The environment is constructed with UI display and a streaming background scene, which is a real time scene taken from camera device located in the plant factory, processed with deformable neural radiance fields. User can monitor and control the remote plant factory facilities with HMD or 2D display based mixed reality environment. This paper also introduces detailed concept and describes the system architecture to implement suggested mixed reality interface.

研究动机与目标

• 解决植物工厂中数字孪生系统缺乏直观、沉浸式界面的问题。
• 通过交互式混合现实环境，实现对智能农业设施的远程操作与监控。
• 以高空间保真度，将物理植物工厂的实时视觉数据集成到数字孪生模型中。
• 开发一种支持HMD和2D显示交互模式的系统架构，以提升广泛可用性。
• 降低延迟并提升用户在远程植物工厂操作中对空间准确性的感知。

提出的方法

• 系统从安装在物理植物工厂中的摄像头捕获实时视频流。
• 使用可变形神经辐射场（DNRF）对动态3D场景进行重建并流式传输，实现高保真度和时间一致性。
• 使用HMD或2D显示设备在混合现实环境中渲染重建后的场景。
• 在MR场景上叠加用户界面元素，以支持用户与数字孪生控制的交互。
• 界面支持沉浸式（HMD）和非沉浸式（2D显示）两种模式，以实现灵活的用户访问。
• 系统架构整合了实时数据处理管道，涵盖视频捕获、DNRF推理和MR渲染，以确保低延迟运行。

实验结果

研究问题

• RQ1 混合现实如何提升植物工厂中数字孪生界面的直观性与交互性？
• RQ2 使用可变形神经辐射场在多大程度上提升了远程植物工厂可视化的真实感与空间保真度？
• RQ3 在用户沉浸感与操作效率方面，HMD与2D显示模式之间的性能权衡如何？
• RQ4 基于DNRF的场景实时流媒体对系统延迟和用户在远程监控任务中的感知有何影响？
• RQ5 统一的系统架构能否有效支持数字孪生植物工厂的沉浸式与非沉浸式交互模式？

主要发现

• 混合现实界面利用DNRF重建的场景，实现了高空间与时间保真度的实时沉浸式植物工厂环境可视化。
• 系统实现了适合交互式远程监控与控制的低延迟渲染，尽管摘要中未明确具体延迟数值。
• 通过集成到MR场景中的动态UI叠加，支持用户交互，提升了控制的直观性。
• 系统支持双模式交互——HMD提供沉浸式体验，2D显示提升可访问性，展示了部署的灵活性。
• 将DNRF与MR结合，提供了物理植物工厂的引人入胜的视觉呈现，增强了用户的临场感与情境意识。
• 所提出的架构支持在多种用户设备和操作场景中可扩展地部署数字孪生界面。