[論文レビュー] Mixed Reality Interface for Digital Twin of Plant Factory

Byunghyun Ban|arXiv (Cornell University)|Oct 29, 2022

Augmented Reality Applications被引用数 4

ひとこと要約

本論文は、植物工場におけるデジタルツインのためのミックスドリアリティ（MR）インタフェースを提案する。このシステムは、可変ニューラルレイトランスフィールド（DNRF）で処理されたリアルタイムストリーミングシーンを用いて、没入型のリモート監視および制御を可能にする。HMDおよび2Dディスプレイインタフェースを統合し、動的UIオーバーレイを備えたシステムは、スマートファーミング環境における人間と植物工場のインタラクションを直感的に行うために、低レイテンシ、空間的に正確な可視化を実現する。

ABSTRACT

An easier and intuitive interface architecture is necessary for digital twin of plant factory. I suggest an immersive and interactive mixed reality interface for digital twin models of smart farming, for remote work rather than simulation of components. The environment is constructed with UI display and a streaming background scene, which is a real time scene taken from camera device located in the plant factory, processed with deformable neural radiance fields. User can monitor and control the remote plant factory facilities with HMD or 2D display based mixed reality environment. This paper also introduces detailed concept and describes the system architecture to implement suggested mixed reality interface.

研究の動機と目的

• 植物工場におけるデジタルツインシステムのための直感的で没入型のインタフェースの欠如に対処すること。
• インタラクティブなミックスドリアリティ環境を通じて、スマートファーミング施設のリモート操作および監視を可能にすること。
• 物理的植物工場からのリアルタイムのビジュアルデータを、高い空間忠実度でデジタルツインモデルに統合すること。
• 幅広いアクセスを可能にするために、HMDおよび2Dディスプレイの両方のインタラクションモードをサポートするシステムアーキテクチャを開発すること。
• リモート植物工場運用におけるレイテンシの低減と空間的正確さの認識向上を図ること。

提案手法

• 物理的植物工場に設置されたカメラからのリアルタイムビデオストリームを収集する。
• 可変ニューラルレイトランスフィールド（DNRF）を用いて、高いリアリズムと時間的整合性を持つ動的3Dシーンを再構築およびストリーミングする。
• HMDまたは2Dディスプレイデバイスを用いて、ミックスドリアリティ環境で再構築されたシーンをレンダリングする。
• UI要素をMRシーンにオーバーレイして、デジタルツインの制御とのユーザーインタラクションを可能にする。
• 没立体（HMD）および非没立体（2Dディスプレイ）の両モードをサポートする柔軟なユーザーアクセスを実現する。
• ビデオキャプチャ、DNRF推論、MRレンダリングのリアルタイムデータパイプラインを統合したシステムアーキテクチャにより、低レイテンシ動作を保証する。

実験結果

リサーチクエスチョン

• RQ1 ミックスドリアリティは、植物工場におけるデジタルツインインタフェースの直感性とインタラクティブ性をどのように向上させ得るか？
• RQ2 可変ニューラルレイトランスフィールドを用いることで、リモート植物工場の可視化におけるリアリズムと空間忠実度はどの程度向上するか？
• RQ3 没立体モードと非没立体モードの間で、ユーザーの没入感と運用効率の観点から、どのようなパフォーマンスのトレードオフが生じるか？
• RQ4 DNRFベースのシーンをリアルタイムでストリーミングすることで、システムのレイテンシとユーザーの認識にどのような影響が生じるか？
• RQ5 統一されたシステムアーキテクチャは、デジタルツイン植物工場における没立体および非没立体の両方のインタラクションモードを効果的にサポートできるか？

主な発見

• ミックスドリアリティインタフェースは、高い空間的・時間的忠実度を持つDNRF再構築シーンを用いて、植物工場環境のリアルタイムで没入型の可視化を可能にする。
• システムは、インタラクティブなリモート監視および制御に適した低レイテンシレンダリングを達成しているが、正確なレイテンシ値は要約では明記されていない。
• 動的UIオーバーレイをMRシーンに統合することで、ユーザーの操作が直感的になる。
• HMDによる没立体体験と2Dディスプレイによるアクセシビリティの両方をサポートする二重モードのインタラクションにより、展開の柔軟性が実証された。
• DNRFとMRの統合により、物理的植物工場の説得力のある視覚的表現が得られ、ユーザーの没入感と状況認識が向上した。
• 提案されたアーキテクチャにより、多様なユーザー端末および運用状況に応じたデジタルツインインタフェースのスケーラブルな展開が可能になった。