[論文レビュー] A Survey on Applications of Digital Human Avatars toward Virtual Co-presence

Matthew Korban, Xin Li|arXiv (Cornell University)|Jan 11, 2022

Virtual Reality Applications and Impacts被引用数 8

ひとこと要約

本調査は、VR環境における仮想的共在（VCP）を実現するためのデジタル人間アバター技術について包括的な分析を提供し、アバターに基づく（直接モーションリターゲティングおよび事前レンダリング済みモーション）と非アバター手法に分類している。3D再構築、モーションリターゲティング、リアルタイムレンダリング分野における技術的進化をたどり、VCPシステムにおけるリアリズム、インタラクティビティ、没入感を向上させる主な進歩を強調している。

ABSTRACT

This paper investigates different approaches to build and use digital human avatars toward interactive Virtual Co-presence (VCP) environments. We evaluate the evolution of technologies for creating VCP environments and how the advancement in Artificial Intelligence (AI) and Computer Graphics affect the quality of VCP environments. We categorize different methods in the literature based on their applications and methodology and compare various groups and strategies based on their applications, contributions, and limitations. We also have a brief discussion about the approaches that other forms of human representation, rather than digital human avatars, have been utilized in VCP environments. Our goal is to fill the gap in the research domain where there is a lack of literature review investigating different approaches for creating avatar-based VCP environments. We hope this study will be useful for future research involving human representation in VCP or Virtual Reality (VR) environments. To the best of our knowledge, it is the first survey research that investigates avatar-based VCP environments. Specifically, the categorization methodology suggested in this paper for avatar-based methods is new.

研究の動機と目的

• 特定のアバターに基づく仮想的共在（VCP）環境に焦点を当てた包括的な文献レビューの不足に対処すること。
• VCPにおけるデジタル人間アバターの作成に用いられる既存の手法を分類・比較し、直接モーションリターゲティングと事前レンダリング済みモーションのアプローチの違いを明確にすること。
• AIおよびコンピューターグラフィックス分野の進歩が、アバターに基づくVCPシステムの品質とリアリズムに与える影響を分析すること。
• 非アバター手法（例：ロボット工学、モバイルシステム、画像／動画）がVCP文脈においてどのように機能するかを評価し、アバターに基づくソリューションと対比すること。
• アバターに基づくVCP手法のための新規分類フレームワークを提供し、VRおよび共同仮想環境における人間表現分野における今後の研究の基盤を築くこと。

提案手法

• VCP研究をアバターに基づく（直接モーションリターゲティングおよび事前レンダリング済みモーション）と非アバターに基づく（ロボット工学、モバイルシステム、画像／動画）アプローチに分類すること。
• 画像ベースの直接モーションリターゲティングをオフラインおよびオンラインモーションリターゲティングに分類し、さらに3Dモデル再構築とリギッドアバターの使用に細分化すること。
• ウェアラブルデバイス、トラッキングマーカー、モーションキャプチャシステムを用いたセンサーベースのアプローチを活用し、リアルタイムでのアバターのモーションマッピングを分析すること。
• 3Dモデル再構築技術の技術的レビューを実施し、KinectFusion、ポisson表面再構築、DynamicFusion、Holoportationを含め、リアルタイム性能とテクスチャ処理に注目すること。
• 単一画像ベースの再構築手法、例えばInferGANを用いた、遮蔽された身体部位からのテクスチャ推定を分析すること。
• 応用分野、利点（例：リアリズム、速度）、制限（例：セットアップの複雑さ、遮蔽）および技術的進化の観点から、手法を比較すること。

実験結果

リサーチクエスチョン

• RQ1 AIおよびコンピューターグラフィックス分野の進歩は、VCP環境におけるデジタル人間アバターの品質とリアリズムをどのように向上させてきたか？
• RQ2 直接モーションリターゲティングと事前レンダリング済みモーションのアプローチには、どのような主な違いとトレードオフがあるか？
• RQ3 画像ベースとセンサーベースのモーションリターゲティング手法は、正確性、遅延、リアルタイム適用性の観点でどのように比較できるか？
• RQ4 現在の3D再構築に基づくオンラインモーションリターゲティング技術の主な制限は何であり、それらの問題を克服するためにどのように進化してきたか？
• RQ5 非アバター手法（例：ロボット工学、モバイルシステム）は、仮想的共在を実現する上で、アバターに基づくソリューションと比べてどのような点で優れているか？

主な発見

• オフラインからリアルタイム3D再構築への進化——例としてDynamicFusionとHoloportation——により、アバターに基づくVCPシステムの応答性と没入感が顕著に向上した。
• Holoportationは、複数のRGBおよび赤外カメラを用いて、動的な人間の被写体を高品質でテクスチャ付きの3D再構築が可能であるが、複雑で高価なハードウェアセットアップを要する。
• Liら（2019）の単一画像ベースの再構築手法は、1枚のRGB画像から3Dアバターとテクスチャを再構築することでハードウェア依存性を低減しているが、遮蔽や限られたカメラ視野に敏感である。
• 技術的進歩により、リアルタイムスキャンと再構築が可能となり、DynamicFusionは、人間のような高度に変形する被写体に対してもRGBDデータのオンライン統合を可能にした。
• 画像ベースの3D再構築技術は、従来の問題に対処する方向に進化した：Shapiroら（2014）はキーポーズを用いて再構築速度を向上させた。Ortsら（2016）は時間的再構築を導入し、トラッキングエラーを低減した。
• 進歩にもかかわらず、遮蔽領域、影の入った領域、見えない身体部位のテクスチャ推定の処理は依然として課題であり、InferGANは有望ながも完全ではないテクスチャ補完ソリューションを提供している。