[論文レビュー] Semantic Augmented Reality Environment with Material-Aware Physical Interactions

Long Chen, Karl Francis+1 more|arXiv (Cornell University)|Aug 3, 2017

Augmented Reality Applications参考文献 1被引用数 3

ひとこと要約

本論文は、密なSLAM、MINCデータセット上で微調整されたFCNによる深層セマンティックセグメンテーション、およびCRFを用いた3次元ラベル統合を組み合わせることで、仮想的・現実的物体間の素材に特化した物理的相互作用を可能にするセマンティック拡張現実（AR）フレームワークを提案する。本システムは、3次元再構成シーンに素材固有の反応（例：木、ガラス、布）をマッピングすることで、リアルタイムかつ現実的な物理ベースの相互作用（例：弾丸の穴、飛散する破片）を実現し、UnityベースのARシューティングゲームで実証された。

ABSTRACT

In Augmented Reality (AR) environment, realistic interactions between the virtual and real objects play a crucial role in user experience. Much of recent advances in AR has been largely focused on developing geometry-aware environment, but little has been done in dealing with interactions at the semantic level. High-level scene understanding and semantic descriptions in AR would allow effective design of complex applications and enhanced user experience. In this paper, we present a novel approach and a prototype system that enables the deeper understanding of semantic properties of the real world environment, so that realistic physical interactions between the real and the virtual objects can be generated. A material-aware AR environment has been created based on the deep material learning using a fully convolutional network (FCN). The state-of-the-art dense Simultaneous Localisation and Mapping (SLAM) has been used for the semantic mapping. Together with efficient accelerated 3D ray casting, natural and realistic physical interactions are generated for interactive AR games. Our approach has significant impact on the future development of advanced AR systems and applications.

研究の動機と目的

• ARにおける現実世界環境の高レベルなセマンティック理解を可能にし、幾何形状に特化した再構成を超えて素材のセマンティクスを含める。
• ARシステムにおけるセマンティクスモデリングの欠如、特に仮想的・現実的物体間の現実的な物理的相互作用を支援する点を解決する。
• 大規模なARゲームのような複雑かつインタラクティブなアプリケーションをサポートするリアルタイムで素材に特化したARフレームワークを開発する。
• セマンティックラベルを3次元ボリュームモデルに統合することで、ARにおける高レベルなシーン理解と低レベルの物理シミュレーションの概念的ギャップを埋める。

提案手法

• 粗くから細かくまでのICPアルゴリズムを用いた、KinectFusionを用いた密な3次元再構成とリアルタイムのカメラポーズ追跡。
• VGG-16に基づく完全畳み込みネットワーク（FCN）を用い、MINCデータセット上で微調整することで、23種類の素材カテゴリをピクセル単位で分類するセマンティックセグメンテーションを実現。
• 2次元のセマンティックラベルを3次元ボリューム再構成に投影する際、空間的および文脈的整合性を保つためにCRF（条件付きランダムフィールド）を適用。
• リアルタイムの物理シミュレーション中に素材特性を効率的に照会できるように、オクソリーム加速構造を統合。
• RGB-D動画入力、カメラポーズ、セマンティック3次元モデルを同期するUnityベースのARプラグインを構築し、リアルタイムの相互作用を可能にする。
• 現実の表面素材に基づいて、仮想的オブジェクトの相互作用に素材固有の物理的反応（例：破壊、変形、破片化）をマッピングする。

実験結果

リサーチクエスチョン

• RQ1 現実世界の表面の素材セマンティクスを、3次元再構成AR環境に正確かつ効率的に抽出し、マッピングする方法は何か？
• RQ2 セマンティックセグメンテーションと3次元ラベル統合は、仮想的・現実的物体間の物理的相互作用のリアリズムをどの程度向上できるか？
• RQ3 リアルタイムでセマンティックに注意を払ったARシステムを構築可能か？特に素材固有の反応を伴う複雑かつインタラクティブなアプリケーション（例：ARゲーム）をサポートできるか？
• RQ4 密なSLAMと深層学習を組み合わせることで、幾何モデリングを越えてAR環境の表現力と使いやすさがどのように向上するか？

主な発見

• 本システムは、KinectFusionとFCNベースのセマンティックセグメンテーションを組み合わせることで、セマンティック素材ラベルを備えた3次元ボリュームモデルを効果的に生成した。
• CRFを用いた統合により、2次元から3次元へのラベル転送における空間的一致性が確保され、再構成されたシーン全体にわたる整合性のあるセマンティックラベリングが実現した。
• オクソリーム加速を用いたレイマーチングシステムにより、リアルタイム性能が達成され、物理シミュレーションにおける素材特性の照会が効率的に行えた。
• プロトタイプのARシューティングゲームは、木への弾丸の穴、ガラスの破壊、布の破れといった素材依存の現実的な物理的相互作用を示し、没入型のユーザーフィードバックを提供した。
• 本フレームワークにより、高レベルのセマンティック理解（素材タイプ）と低レベルの物理的挙動を結びつけることで、ARにおける相互作用モデリングの新たな水準が実現された。
• ARシステムにセマンティック認識を統合することで、将来のセマンティクス駆動の行動を伴う複雑かつインタラクティブなARアプリケーションの開発への道筋が開けた。