[論文レビュー] Progressive tearing and cutting of soft-bodies in high-performance virtual reality

Manos Kamarianakis, Antonis Protopsaltis+3 more|arXiv (Cornell University)|Sep 18, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本論文は、低スペックデバイスでも10ms未塔の性能を達成するために、線形ブレンドスキンメッシュの上に重ねた粒子系を活用することで、仮想現実（VR）におけるリジッドなソフトボディメッシュのプログレッシブな破断および切断をリアルタイムで実現する、幾何学的アプローチのフレームワークを提示する。この手法により、事前処理やFEMのオーバーヘッドなしに、手術並みのリアルな、制約のない切断が可能となり、VR医療訓練用途において、既存の手法を凌駕するスピードと柔軟性を実現する。

ABSTRACT

We present an algorithm that allows a user within a virtual environment to perform real-time unconstrained cuts or consecutive tears, i.e., progressive, continuous fractures on a deformable rigged and soft-body mesh model in high-performance 10ms. In order to recreate realistic results for different physically-principled materials such as sponges, hard or soft tissues, we incorporate a novel soft-body deformation, via a particle system layered on-top of a linear-blend skinning model. Our framework allows the simulation of realistic, surgical-grade cuts and continuous tears, especially valuable in the context of medical VR training. In order to achieve high performance in VR, our algorithms are based on Euclidean geometric predicates on the rigged mesh, without requiring any specific model pre-processing. The contribution of this work lies on the fact that current frameworks supporting similar kinds of model tearing, either do not operate in high-performance real-time or only apply to predefined tears. The framework presented allows the user to freely cut or tear a 3D mesh model in a consecutive way, under 10ms, while preserving its soft-body behaviour and/or allowing further animation.

研究の動機と目的

• 高パフォーマンスな仮想現実環境において、ソフトボディメッシュモデルのリアルタイムで制約のない破断および切断を可能にすること。
• モバイルVR環境では遅すぎたり柔軟性に欠けたりする、事前に定義された方法やFEMに基づく切断手法の限界を克服すること。
• 破断後もソフトボディの変形挙動とアニメーション機能を維持することで、手術シミュレーションにおけるリアリズムを確保すること。
• Unity3D や Unreal Engine といったメジャーなゲームエンジンと互換性を持つフレームワークを開発し、低スペックのモバイルVR HMD へのデプロイが可能になるようにすること。
• ユーザー主導の動的インタラクションを可能にすることで、共同的かつ没入型のVR訓練シナリオを実現すること。

提案手法

• フレームワークは、線形ブレンドスキンメッシュの上に重ねた粒子系を用いてソフトボディの変形をシミュレートし、破断後のリアルな組織反応を実現する。
• 破断はリジッドメッシュ表面における純粋な幾何学的演算によって実行され、高コストな再メッシュ化やFEMソルバを回避する。
• 骨重みの計算と粒子の更新には、効率的なユークリッド幾何学的判定式を用い、計算オーバーヘッドを最小限に抑える。
• 破断処理は原子的ステップに分解される：交差検出、粒子の分離、メッシュ更新、および粒子状態の伝搬。
• すべての処理は1フレームあたり10ms以内で実行可能に最適化されており、GPU/CPU負荷を最小限に抑え、モバイルVRデバイスへのデプロイを可能にする。
• Unity3D などのゲームエンジンにシームレスに統合されており、MAGES SDK 経由です already 利用可能である。

実験結果

リサーチクエスチョン

• RQ1 事前処理やFEMのオーバーヘッドなしに、モバイルVR環境でリアルタイム（≤10ms）で継続的かつプログレッシブなソフトボディメッシュの破断が可能か？
• RQ2 特に手術シミュレーションの文脈において、破断後にリアルなソフトボディ変形をどのように維持できるか？
• RQ3 VRアプリケーションにおいて、FEM や事前に定義されたアニメーション手法に比べて、幾何学的アプローチがパフォーマンスと柔軟性の面で優れているか？
• RQ4 複雑なモデル（例：心臓、兎）に対して、リアルタイムVR環境で制約のないユーザー主導の切断を実行する際の計算オーバーヘッドはどの程度か？
• RQ5 リアルタイムVRレンダリングにおいて、モデルの複雑さやメッシュ解像度の違いに応じて、この手法はどのようにスケーリングするか？

主な発見

• 球体では全破断処理時間3.25ms、兎では11.19ms、心臓モデルでは18.65msを記録し、いずれも高パフォーマンスVRの10msのしきい値を下回っている。
• 状態の最先端の手法（He et al., 2022）は18,128面を持つ直方体に対して52.77msを要したが、本手法では同程度の複雑さの心臓モデルでも18.65msを達成しており、優れた性能を示している。
• 粒子の更新と分離ステップが最も計算コストが高く、心臓モデルでは2.63msを要したが、依然としてリアルタイム制限内に収まっている。
• ユーザーの行動間の自然な認知的準備時間があるため、高複雑度のモデルを用いたVRセッション中でも、フレームワークは最小限のパフォーマンスオーバーヘッドを維持する。
• 破断後も動的ソフトボディ挙動を維持でき、破断部についてもさらなる変形とアニメーションが可能であり、リアルな手術シミュレーションにとって不可欠である。
• 本システムはすでにMAGES SDKに統合されており、Unity3Dで動作しており、実世界のVR医療訓練アプリケーションにおける実用的デプロイの可能性を示している。