[論文レビュー] Tangible Holograms: Towards Mobile Physical Augmentation of Virtual Objects

Beat Signer, Timothy Joseph Curtin|arXiv (Cornell University)|Mar 24, 2017

Interactive and Immersive Displays参考文献 6被引用数 6

ひとこと要約

本論文では、球状コントローラーを備えたロボットアームを用いて、形状、質感、温度などの実体を持つ性質をもったホログラム仮想オブジェクトをミックスドリアリティで物理的に拡張する、モバイルでウェアラブルなシステムを提案する。マイクロソフトのホログラム・リーダーを用いて空間的に固定されたホログラムを実現し、身体に装着したアクチュエータを統合することで、環境を問わず動的で物理的に反応する仮想オブジェクトに対してリアルタイムでタッチベースのインタラクションを可能にする。本システムは、ミックスドリアリティにおけるモバイルで実体のあるインタラクションのための画期的なソリューションを提供する。

ABSTRACT

The last two decades have seen the emergence and steady development of tangible user interfaces. While most of these interfaces are applied for input - with output still on traditional computer screens - the goal of programmable matter and actuated shape-changing materials is to directly use the physical objects for visual or tangible feedback. Advances in material sciences and flexible display technologies are investigated to enable such reconfigurable physical objects. While existing solutions aim for making physical objects more controllable via the digital world, we propose an approach where holograms (virtual objects) in a mixed reality environment are augmented with physical variables such as shape, texture or temperature. As such, the support for mobility forms an important contribution of the proposed solution since it enables users to freely move within and across environments. Furthermore, our augmented virtual objects can co-exist in a single environment with programmable matter and other actuated shape-changing solutions. The future potential of the proposed approach is illustrated in two usage scenarios and we hope that the presentation of our work in progress on a novel way to realise tangible holograms will foster some lively discussions in the CHI community.

研究の動機と目的

• 現在のミックスドリアリティにおけるホログラムは視覚的に存在するが、触ることができないため、物理的フィードバックの欠如に対処すること。
• 形状、質感、温度などの物理的性質を仮想オブジェクトに付加することで、モバイルでリアルタイムにインタラクションできるようにすること。
• 異なる物理的環境間で共同して複数ユーザーがインタラクションできる、自己完結型のウェアラブルシステムを開発すること。
• 抽象的データを物理的変数を通じて感知・操作できるモバイルなミックスドリアリティ環境において、データの物理的表現（データ物理化）の新たな可能性を模索すること。

提案手法

• システムは、空間マッピングとホログラムディスプレイにマイクロソフトのホログラム・リーダーを用い、仮想オブジェクトを物理的環境に投影する。
• 球状コントローラーを備えたウェアラブルなロボットアームシステムを用いて、仮想オブジェクトの形状と質感をリアルタイムで物理的に実現する。
• ロボットアームは手の追跡とモーションセンシングにより制御され、ユーザーの手の動きと基盤となるデジタルモデルに応じて自動的に再位置決めが可能になる。
• 軽量な3DプリンティングフレームとLegoベースのギアトレイン、サーボモーターを統合することで、移動性と物理的反応性を確保する。
• 球状コントローラー内蔵のセンサーやアクチュエータが、硬さ、スポンジ状の感触、温度などの物理的変数を模倣し、ハプティクスフィードバックを強化する。
• 複数ユーザー間で共有可能なデジタルモデルを統合し、リアルタイムで同期された物理的に拡張されたホログラムを複数ユーザーが共同でインタラクション可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミックスドリアリティにおける仮想ホログラムに、形状、質感、温度といった動的物理的性質をどのように物理的に拡張できるか？
• RQ2 異なる環境間で物理的に拡張された仮想オブジェクトに対して、リアルタイムでタッチベースのインタラクションを可能にする、ウェアラブルでモバイルなシステムアーキテクチャはどのようなものか？
• RQ3 ロボットアクチュエータからの物理的フィードバックをホログラム投影とどのように同期させれば、視覚的および触覚的モodalitiesの間で知覚的一致性を維持できるか？
• RQ4 実体を持つホログラムは、ミックスドリアリティにおいて、共同設計およびデータ物理化をどのように支援できるか？

主な発見

• 提案されたシステムは、ウェアラブルなロボットアームを用いてホログラムの形状と質感を物理的に拡張し、仮想オブジェクトに対するタッチベースのインタラクションを実現した。
• ユーザーの手の動き、デジタルモデル、球状コントローラーの物理的位置がリアルタイムで同期され、知覚的一致性が保証された。
• 自動車設計およびインテリアデザインの2つのユースケースを通じて、実体を持つホログラムが、共有された物理的フィードバックを伴う共同でモバイルかつ没入型のデザインワークフローを可能にすることが示された。
• 軽量な3Dプリンティング構造により、ボリュームの大きいLego部品に代わって移動性とユーザーの快適性が向上した。
• 遠隔での共同作業が可能であり、異なる場所にいるユーザーが同じホログラムモデルのスケールダウン版を操作しながら、リアルタイムで同期を保ったまま相互に操作できる。
• ホログラム・リーダーと身体に装着したアクチュエータの統合により、自己完結型でモバイルな実体的ホログラフィーのためのプラットフォームが実現され、固定型の形状変化インターフェースとは明確に異なる。